hive on spark(yarn)安装部署

〇、说明
HDFS+spark+hive的测试环境之前单独搭建成功了,后来需要使用hive on spark才发现需要重新配置。查看了很多参考文章,包括官网上的教程,一路摸索着,总算是成功了。
0.参考文章
Hive on Spark: Getting Started
Running Spark on YARN
Building Spark
Spark Configuration
Hive on Spark安装配置详解
Hive记录-Hive on Spark环境部署
hive集群配置 hive on spark
Hive on Spark 搭建&踩坑

1.版本兼容
这个问题很重要,官网的解释是hive on spark属于test,所以并不是各种版本都可以混搭,所以有两种做法:
①查看一下各个组件的pom.xml文件(源码下载后解压,位于根目录)
这个方法我尝试了一下,发现各个组件对彼此的要求不同,比如说hive3.1.1对hadoop的要求是3.1.0,对spark的要求是2.3.0;但是spark2.3.0对hadoop要求是2.6.5,对hive要求的要求是1.2.1(这个我有点不理解);
查看官网说

  • 1
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值