java hive maven_Java + Spark SQL + Hive + Maven简单实例实现

一. 前期准备

1.linux搭建Java和Scala环境搭建

2. linux搭建hadoop+spark+hive分布式集群

hadoop分布式集群搭建：hadoop分布式集群搭建

spark分布式集群搭建:spark分布式集群搭建

hive分布式集群搭建：待完善

二.项目代码实现

1 需求

通过Spark Sql 查询Hive数据库数据

数据库：bi_ods;

表：owms_m_locator

2 maven 项目搭建

新增一个Mave project工程

maven project工程

3 实现代码

package com.lm.hive.SparkHive;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.sql.hive.HiveContext;

/**

* Spark sql获取Hive数据

*

*/

public class App

{

public static void main( String[] args )

{

SparkConf sparkConf = new SparkConf().setAppName("SparkHive").setMaster("local[2]");

JavaSparkContext sc = new JavaSparkContext(sparkConf);

//不要使用SQLContext,部署异常找不到数据库和表

HiveContext hiveContext = new HiveContext(sc);

//查询表前10条数据

hiveContext.sql("select * from bi_ods.owms_m_locator limit 10").show();

sc.stop();

}

}

三. 项目部署

1 maven项目编译成jar包

本文编译成 SparkHive-0.0.1-SNAPSHOT-allinone.jar

2 上传jar包至linux服务器

通过rz命令上传

3 通过spark-submit命令运行jar包

命令：

sh bin/spark-submit --class com.lm.hive.SparkHive.App --master yarn  --files /home/winit/spark-1.6.0/conf/hive-site.xml  java_jar/SparkHive-0.0.1-SNAPSHOT-allinone.jar

结果：

运行结果

四.异常问题

在网上搜索，很多是通过SQLContext实例去查询Hive数据，当本人使用时，出现以下异常

SQLContext查询异常

解决：

SQLContext sqlContext = new SQLContext(sc);

替换为：

HiveContext hiveContext = new HiveContext(sc);

五. SQLContext和HiveContext区别和联系

Spark SQL程序的主入口是SQLContext类或它的子类。创建一个基本的SQLContext，你只需要SparkContext

除了基本的SQLContext，也可以创建HiveContext。SQLContext和HiveContext区别与联系为：

SQLContext现在只支持SQL语法解析器(SQL-92语法)

HiveContext现在支持SQL语法解析器和HiveSQL语法解析器，默认为HiveSQL语法解析器，用户可以通过配置切换成SQL语法解析器，来运行HiveSQL不支持的语法。

使用HiveContext可以使用Hive的UDF，读写Hive表数据等Hive操作。SQLContext不可以对Hive进行操作。

Spark SQL未来的版本会不断丰富SQLContext的功能，做到SQLContext和HiveContext的功能容和，最终可能两者会统一成一个Context

HiveContext包装了Hive的依赖包，把HiveContext单独拿出来，可以在部署基本的Spark的时候就不需要Hive的依赖包，需要使用HiveContext时再把Hive的各种依赖包加进来。

SQL的解析器可以通过配置spark.sql.dialect参数进行配置。在SQLContext中只能使用Spark SQL提供的”sql“解析器。在HiveContext中默认解析器为”hiveql“，也支持”sql“解析器。