Hive报错笔记-ls: 无法访问/opt/SoftWare/Spark/spark/lib/spark-assembly-*.jar: 没有那个文件或目录

在集群环境中,由于Spark升级,Hive命令执行时出现'ls: 无法访问/opt/SoftWare/Spark/spark/lib/spark-assembly-*.jar: 没有那个文件或目录'的错误。原因是新版本Spark的lib目录下不再有spark-assembly-*.jar。解决方法是修改hive启动脚本,将寻找spark-assembly-*.jar的语句替换为查找所有小jar包的语句。完成修改后,Hive执行不再报错。
摘要由CSDN通过智能技术生成

集群搭建好,环境变量也都配置好,使用hive命令,出现
ls: 无法访问/opt/SoftWare/Spark/spark/lib/spark-assembly-*.jar: 没有那个文件或目录

[root@hadoop bin]# hive
ls: 无法访问/opt/SoftWare/Spark/spark/lib/spark-assembly-*.jar: 没有那个文件或目录

原因: spark升级到spark2以后,原有lib目录下的大jar包被分散成多个小jar包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个jar包。简单来讲:新版本的spark,hive没有及时支持更新。
解决方法:修改hive的启动脚本

[root@hadoop bin]# vim hive

找到

# add Spark assembly jar to the classpath
if [<
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值