Hive On Spark报错:Failed to execute spark task, org.apache.hadoop.hive.ql.metadata.HiveException

Hive On Spark报错:Failed to execute spark task, org.apache.hadoop.hive.ql.metadata.HiveException
我的问题是因为版本不兼容。
HIVE | SPARK
3.0.x | 2.3.0
2.3.x | 2.0.0
2.2.x | 1.6.0
2.1.x | 1.6.0
2.0.x | 1.5.0
1.2.x | 1.3.1
1.1.x | 1.2.0

严格按照这个执行。

基于CM搭建的CDH集群之hive组件升级过程(hive1.1.0升级到hive-3.0.0且确保纳入CM管理)

1、在hive1.1.0版本下创建lib300目录

cd /opt/cloudera/parcels/CDH/lib/hive;
mkdir lib300

2、下载hive1.1.0版本,并将该版本lib下所有文件拷贝到lib300中

3、修改/opt/cloudera/parcels/CDH/lib/hive/bin/hive中HIVE_LIB变量

HIVE_LIB=${HIVE_HOME}/lib300

4、更新hadoop上jline jar包,并删除老的jlien jar包,然后进行软连接

rm -rf jline-0.9.94.jar  
ln -s /opt/cloudera/parcels/CDH/lib/hive/lib121/jline-2.12.jar /opt/cloudera/parcels/CDH/lib/hadoop-yarn/lib/jline-2.12.jar

5、启动hive相关服务(或者通过CM重启所有服务)

6、beeline(!connect jdbc:hive2://localhost:10000) 登录spark hiveserver2进行验证(或者通过hive登录)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值