spark-submit提交job任务解决三方依赖方案
spark-submit提交job任务解决三方依赖方案
在spark 安装目录spark/jars 下面添加需要加装的jar包,
此方法需要在每个节点都放入jar包
或者在spark/conf/spark-defaults.conf 文件下面添加如下两行
spark.executor.extraClassPath=/root/bigData/apache-maven-3.6.3/lib/*
spark.driver.extraClassPath=/root/bigData/apache-maven-3.6.3/lib/*
表示然后在这个目录下放入你需要加装的jar包就可以解决提交是需要三方jar包的问题。
就不需要 在脚本里面 加 --jars参数了
应用场景:
sparkjob启动如出现异常:
java.lang.ClassNotFoundException 就是需要对应三方依赖
但是如果出现:
java.lang.ClassNotFoundException:Scala.Product$Class, 就是spark 和scala 版本不对应,或者是三方依赖包加载了两遍,检查 spark安装目录下的jars目录下的jar包,和你配置的路径下的jar包