spark-submit提交job任务解决三方依赖方案

spark-submit提交job任务解决三方依赖方案

在spark 安装目录spark/jars 下面添加需要加装的jar包，
此方法需要在每个节点都放入jar包
或者在spark/conf/spark-defaults.conf 文件下面添加如下两行
spark.executor.extraClassPath=/root/bigData/apache-maven-3.6.3/lib/*
spark.driver.extraClassPath=/root/bigData/apache-maven-3.6.3/lib/*

表示然后在这个目录下放入你需要加装的jar包就可以解决提交是需要三方jar包的问题。
就不需要 在脚本里面 加 --jars参数了

应用场景：
sparkjob启动如出现异常：
java.lang.ClassNotFoundException 就是需要对应三方依赖
但是如果出现：
java.lang.ClassNotFoundException:Scala.Product$Class, 就是spark 和scala 版本不对应，或者是三方依赖包加载了两遍，检查 spark安装目录下的jars目录下的jar包，和你配置的路径下的jar包