spark-sql小错


在本地跑各种顺畅:


到集群上就不行了,各种报错:


解决:将中的provided去掉,然后编译打包在集群上再次跑。

又报错:

配上,编译打包在集群上再次跑

接着报错:

真是完蛋了!

然后想起来我们测试集群有两个版本的spark(有hive和没hive的)
查看环境变量配置的是没hive的:

使用有hive的spark再次提交,发现还是哪些错(啊啊)

突然看到:

意味着我就是用有hive的spark版本他还是会用你的环境变量指定的spark去提交任务,真尴尬。

最终我设置了一个临时SPARK_HOME(指定为有hive的spark),解决问题。


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值