在本地跑各种顺畅:
到集群上就不行了,各种报错:
解决:将中的provided去掉,然后编译打包在集群上再次跑。
又报错:
将配上,编译打包在集群上再次跑
接着报错:
真是完蛋了!
然后想起来我们测试集群有两个版本的spark(有hive和没hive的)
查看环境变量配置的是没hive的:
使用有hive的spark再次提交,发现还是哪些错(啊啊)
突然看到:
意味着我就是用有hive的spark版本他还是会用你的环境变量指定的spark去提交任务,真尴尬。
最终我设置了一个临时SPARK_HOME(指定为有hive的spark),解决问题。