-
- 示例代码
val sparkConf = new SparkConf().setAppName("hive example")
val sc = new SparkContext(sparkConf)
val hiveContext = new HiveContext(sc)
val tableName="hive_test";
var spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.sql.warehouse.dir","hdfs://10.37.154.84:8020/user/hive/warehouse")
.enableHiveSupport()
.getOrCreate()
spark.sql("SELECT * FROM hive_test").show()
-
- 版本问题
当spark2.2和hadoop2.6安装在不同的集群,同时hive和hadoop安装在一起的时候,如果要使用spark sql访问hive,需要将hive的hive-site.xml复制到spark的conf目录中。
同时,spark2.2默认是访问hive1.2.0版本的,而hive2.2.0的客户端会和spark2.2存在版本不一致,在默认情况下,意味着两者不能并存,因为他们会各种将自己的版本信息写到hive的metastore中。
解决办法是有的。首先设置属性:
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
这样在使用的时候不检查hive的version,也就不会引起version不一致的冲突。
其次在spark中使用的时候,设置以下两个属性:
<property>
<name>spark.sql.hive.metastore.version</name>
<value>2.1.0</value>
</property>
<property>
<name>spark.sql.hive.metastore.jars</name>
<value>file:home/spark/hivelib/hive-metastore-2.2.0.jar</value>
</property>
设置hive的metastore版本号和新的jar包地址。
经过实践这样都可以操作了。
这些开源框架一定要注意各个版本之间的兼容问题,很多时间要看看源码才能找到答案。