spark代码连接hive_Spark访问Hive表

知识点1：Spark访问HIVE上面的数据

配置注意点：.

1.拷贝mysql-connector-java-5.1.38-bin.jar等相关的jar包到你${spark_home}/lib中(spark2.0之后是${spark_home}/jars下)，不清楚就全部拷贝过去

2.将Hive的配置文件hive-site.xml拷贝到${spark_home}/conf目录下

3.因为使用ThriftJDBC/ODBC Server访问spark SQL，所以要修改hive-site.xml文件

hive.metastore.uris

thrift://hadoop1:9083

Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.

4.启动hivede metastroe后台进程。执行${hive_home}/bin/hive --service metastore启动hive的service metastore后台进程。

5.启动spark-shell访问hive上数据。在${spark_home}/bin下执行./spark-shell --master spark://master:7077 (可添加其他参数rg:--jars等参数)

知识点2：Spark访问与HBase关联的Hive表

创建关联HBase的Hive外表：

DROP TABLE IF EXISTStable_name;CREATE EXTERNAL TABLEtable_name (ROWKEY STRING,Name STRING,ADDRESS STRING )

ROW FORMAT DELIMITED

COLLECTION ITEMS TERMINATEDBY ','STOREDBY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES("hbase.columns.mapping"=":key,A:Name,A:ADDRESS")

TBLPROPERTIES("hbase.table.name" = "table_name");

如果创建的是内部表，删除了hive表，hbase上对应的表也会被删除，不建议使用这种方式。

如果创建的是外部表，使用drop只是删除了hive的元数据，hbase表不会受影响。

扩展：使用drop删除hive的外表后，如果重新创建该表并load数据到该表中，将会出现部分数据是上次插入的数据，导致总数据量大于第二次插入的数据量，出现这种情况的原因是因为drop删除表，只是删除了表的元数据，不会删除表中的数据，表中的数据存储在创建语句location指定的hdfs路径下，只要删除该文件即可。

配置注意点：

1.Hive的配置部署与知识点1一样

2.拷贝如下jar包到你${spark_home}/lib中(spark2.0之后是${spark_home}/jars下)，缺少这些jarj将会报错，本人是将hbase下所有jar都复制到了${spark_home}/lib中

hbase-protocol-1.1.2.jar

hbase-client-1.1.2.jar

hbase-common-1.1.2.jar

hbase-server-1.1.2.jar

hive-hbase-handler-1.2.1.jar

metrics-core-2.2.0.jar

3.将HBase的配置文件hbase-site.xml拷贝到${spark_home}/conf目录下

4.启动spark-shell访问与hbase关联的hive上数据。在${spark_home}/bin下执行./spark-shell --master spark://master:7077 (可添加其他参数rg:--jars等参数，eg:

./bin/spark-shell --master spark://Master36:7077 --jars /usr/local/spark/lib/hive-hbase-handler-1.2.1.jar,/usr/local/spark/lib/hbase-common-1.1.2.jar,/usr/local/spark/lib/hbase-client-1.1.2.jar,/usr/local/spark/lib/hbase-protocol-1.1.2.jar,/usr/local/spark/lib/hbase-server-1.1.2.jar,/usr/local/spark/lib/metrics-core-2.2.0.jar,/usr/local/spark/lib/guava-12.0.1.jar,/usr/local/spark/lib/htrace-core-3.1.0-incubating.jar

)

代码：

/**

*下面是spark1.6.2读取hive的简单代码*/val sqlContext=new org.apache.spark.sql.hive.HiveContext(sc)

import sqlContext.implicites._

val df=sqlContext.sql("select xxx fromtable_name").collect().foreach(println)/**

*下面是spark2.11读取hive的简单代码

*spark2.0版本访问hive配置部分将会简单一点*/import org.apache.spark.sql.SparkSession

val warehouseLocation="hdfs://master:9000/user/hive/warehouse"

val spark=SparkSession.builder().appName("spark-hive").config("spark.sql.warehouse.dir",warehouseLocation).enableHiveSupport().getOrCreate()

import spark.implicits._

import spark.sql

spark.sql("selectxxxfromxx").show//将数据框保存到到指定路径中，可通过format来指定要保存的文件格式,repartition(n)设置输出文件的个数

dataFrame.repartition(1).write.format("csv").save("hdfs://master:9000/xxx")

出现的错误总结(解决方法仅供参考)：

1.error: Error creating transactional connection factory

解决方法：在hive和spark集群都能正常使用情况下，检查一下hive的service metastore后台进程是否已经启动了

2.Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

解决方法：有可能是hive连接数据库部分出现了问题，在hive-site.xml文件中添加hive.metastore.uristhrift://hadoop1:9083,如果配置后执行出现了新的错误：ERROR ObjectStore: Version information not found in metastore，这个新错误可能使用hive的jar包和存储元数据信息版本不一致而抛出的异常，可以在hive-site.xml文件中添加参数跳过版本的问题，hive.metastore.schema.verificationfalse,重启hive服务，如果还是继续报ERROR ObjectStore: Version information not found in metastore这个错误，说明刚刚配置的参数没有生效,接着要把hdfs-site.xml文件拷贝到${spark_home}/conf文件下，这可能是因为环境变量的问题引起的

3.java.io.IOException: java.lang.reflect.InvocationTargetException

解决方法：由于缺少htrace-core-3.1.0-incubating.jar包，引入该包即可。

4.java.lang.ClassNotFoundException Class org.apache.hadoop.hive.hbase.HBaseSerDe not found

解决方法：由于缺少相关的hbase的jar包(hbase-protocol-1.1.2.jar，hbase-client-1.1.2.jar，hbase-common-1.1.2.jar，hbase-server-1.1.2.jar等)，可以在启动spark-shell通过--jars来添加。

5.java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/util/Bytes

解决方法：由于缺少guava-12.0.1.jar包，引入该包即可。