Hive On Spark报错:Failed to execute spark task, org.apache.hadoop.hive.ql.metadata.HiveException
我的问题是因为版本不兼容。
HIVE | SPARK
3.0.x | 2.3.0
2.3.x | 2.0.0
2.2.x | 1.6.0
2.1.x | 1.6.0
2.0.x | 1.5.0
1.2.x | 1.3.1
1.1.x | 1.2.0
严格按照这个执行。
基于CM搭建的CDH集群之hive组件升级过程(hive1.1.0升级到hive-3.0.0且确保纳入CM管理)
1、在hive1.1.0版本下创建lib300目录
cd /opt/cloudera/parcels/CDH/lib/hive;
mkdir lib300
2、下载hive1.1.0版本,并将该版本lib下所有文件拷贝到lib300中
3、修改/opt/cloudera/parcels/CDH/lib/hive/bin/hive中HIVE_LIB变量
HIVE_LIB=${HIVE_HOME}/lib300
4、更新hadoop上jline jar包,并删除老的jlien jar包,然后进行软连接
rm -rf jline-0.9.94.jar
ln -s /opt/cloudera/parcels/CDH/lib/hive/lib121/jline-2.12.jar /opt/cloudera/parcels/CDH/lib/hadoop-yarn/lib/jline-2.12.jar
5、启动hive相关服务(或者通过CM重启所有服务)
6、beeline(!connect jdbc:hive2://localhost:10000) 登录spark hiveserver2进行验证(或者通过hive登录)