Spark操作hive示例代码

2019独角兽企业重金招聘Python工程师标准>>>

1. 1. 示例代码

val sparkConf = new SparkConf().setAppName("hive example")     

    val sc = new SparkContext(sparkConf)                                         

    val hiveContext = new HiveContext(sc)                                        

    val tableName="hive_test";

             

    var spark = SparkSession

      .builder()

      .appName("Spark SQL basic example")

      .config("spark.sql.warehouse.dir","hdfs://10.37.154.84:8020/user/hive/warehouse")

      .enableHiveSupport()

      .getOrCreate()

 

    spark.sql("SELECT * FROM hive_test").show()

 

1. 1. 版本问题

当spark2.2和hadoop2.6安装在不同的集群，同时hive和hadoop安装在一起的时候，如果要使用spark sql访问hive，需要将hive的hive-site.xml复制到spark的conf目录中。

同时，spark2.2默认是访问hive1.2.0版本的，而hive2.2.0的客户端会和spark2.2存在版本不一致，在默认情况下，意味着两者不能并存，因为他们会各种将自己的版本信息写到hive的metastore中。

解决办法是有的。首先设置属性：

<property>

               <name>hive.metastore.schema.verification</name>

           <value>false</value>

    </property>

这样在使用的时候不检查hive的version，也就不会引起version不一致的冲突。

其次在spark中使用的时候，设置以下两个属性：

<property>

<name>spark.sql.hive.metastore.version</name>

<value>2.1.0</value>

</property>

 

<property>

<name>spark.sql.hive.metastore.jars</name>

<value>file:home/spark/hivelib/hive-metastore-2.2.0.jar</value>

</property>

 

设置hive的metastore版本号和新的jar包地址。

经过实践这样都可以操作了。

这些开源框架一定要注意各个版本之间的兼容问题，很多时间要看看源码才能找到答案。

转载于:https://my.oschina.net/u/778683/blog/1831144