Spark on Yarn 找不到第三方的Jar包或配置文件,报错NoClassDefFoundError解决思路
1.背景介绍
在本地使用idea 开发spark项目,用到了ipdatabase开源项目(GitHub),在使用idea中集成的maven把项目打成jar包后,使用spark-submit将jar包提交到yarn集群上出现了问题,报NoClassDefFoundError
2.解决思路
使用–jars或者把缺少的jar包拷贝到${spark_home}的jars文件夹下,结果依旧报错
使...
原创
2018-12-24 23:05:12 ·
3020 阅读 ·
0 评论