hive on spark 记录

环境:

hadoop 2.7.2
spark-without-hadoop 2.4.6
hive 2.3.4

hive-site.xml

<property>
	<name>hive.execution.engine</name>
	<value>spark</value>
</property>
<property>
	<name>spark.yarn.jars</name>
	<value>hdfs://hadoop03:9000/spark-jars/*</value>
</property>

./bin/hive

for f in ${SPARK_HOME}/jars/*.jar; do
  CLASSPATH=${CLASSPATH}:$f;
done
/opt/module/spark-2.4.4-bin-without-hadoop/bin/spark-submit \
--properties-file /tmp/spark-submit.8770948269278745415.properties \
--class org.apache.hive.spark.client.RemoteDriver /opt/module/hive/lib/hive-exec-2.3.4.jar \
--remote-host hadoop03 \
--remote-port 43182 \
--conf hive.spark.client.connect.timeout=1000 \
--conf hive.spark.client.server.connect.timeout=90000 \
--conf hive.spark.client.channel.log.level=null \
--conf hive.spark.client.rpc.max.size=52428800 \
--conf hive.spark.client.rpc.threads=8 \
--conf hive.spark.client.secret.bits=256 \
--conf hive.spark.client.rpc.server.address=null
问题记录
1)java.lang.NoClassDefFoundError: scala/collection/Iterable

在这里插入图片描述

https://stackoverflow.com/questions/38345447/apache-hive-exception-noclassdeffounderror-scala-collection-iterable

for f in ${SPARK_HOME}/jars/*.jar; do
  CLASSPATH=${CLASSPATH}:$f;
done
2) 各种 classNotFound

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

hive on spark 任务结束 | 完成,资源不释放

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
参考:https://blog.csdn.net/qq_31454379/article/details/107621838
在这里插入图片描述
在这里插入图片描述

解决方法:

  • 如果是hive命令行客户端提交的job,退出hive命令行,资源自动释放
  • 如果是脚本提交的job,最好在脚本末尾加入 !quit 主动释放资源
dbvear hive on spark

在这里插入图片描述
配置 HIVE_CONF_DIR 变量
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
同样遇到 yarn 资源未释放
在这里插入图片描述
在这里插入图片描述
断开连接、资源释放

在这里插入图片描述

  • 10
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值