发现问题
今天提交任务(spark-submit),前面读取任务都十分的顺利
只是跑到这个部分的时候,就开始疯狂报错
反复提交了好几遍
总觉得哪里有点问题
java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize
寻找问题
原来我的pom文件配置有点小问题,上次本地测试数据的时候把配置改成本地版本了
解决问题
把pom文件配置改成和集群相同的
最终结果
最终这个任务成功的跑完了!
总结
1.保持自己的scala,spark本地版本和公司的集群版本一致
2.每次打包之前检查一下自己的pom文件版本是否一致