〇、说明
HDFS+spark+hive的测试环境之前单独搭建成功了,后来需要使用hive on spark才发现需要重新配置。查看了很多参考文章,包括官网上的教程,一路摸索着,总算是成功了。
0.参考文章
Hive on Spark: Getting Started
Running Spark on YARN
Building Spark
Spark Configuration
Hive on Spark安装配置详解
Hive记录-Hive on Spark环境部署
hive集群配置 hive on spark
Hive on Spark 搭建&踩坑
1.版本兼容
这个问题很重要,官网的解释是hive on spark属于test,所以并不是各种版本都可以混搭,所以有两种做法:
①查看一下各个组件的pom.xml文件(源码下载后解压,位于根目录)
这个方法我尝试了一下,发现各个组件对彼此的要求不同,比如说hive3.1.1对hadoop的要求是3.1.0,对spark的要求是2.3.0;但是spark2.3.0对hadoop要求是2.6.5,对hive要求的要求是1.2.1(这个我有点不理解);
②查看官网说