spark-submit yarn-client 模式下 --jars spark.driver.extraClassPath spark.executor.extraClassPath区别和联系

最新推荐文章于 2024-08-04 23:37:43 发布

jorondo

最新推荐文章于 2024-08-04 23:37:43 发布

阅读量6.1k

点赞数 3

分类专栏：大数据随想录文章标签： spark hadoop 大数据

本文链接：https://blog.csdn.net/jorondo/article/details/104706395

版权

大数据随想录专栏收录该内容

5 篇文章

订阅专栏

                    
                        
                    
                    –jars
 作用是在运行时把jar包分发到worker的指定目录上，一般是/var/run/spark/work目录，但是并不会把这些jar包自动装载到executor的classpath中
 使用案例：
 单包：–jars /tmp/add1.jar
 多包：–jars /tmp/add1.jar,/tmp/add2.jar
spark.executor.extraClassPath
 显式地将jars引入的jar包注册到executor的classpath中，因为executor知道运行的默认目录，所以不需要指定绝对目录，直接使用jar包名字即可
 使用案例：
 单包：–conf spark.executor.extraClassPath=add1.jar
 多包：–conf spark.executor.extraClassPath=add1.jar:add2.jar
spark.driver.extraClassPath
 看名字比较好理解，与executor配置项同理，但是需要注意的是，在yarn-client模式下，–jars 并不会把jar包拷贝到本机的目录下，所以在引用的时候要使用绝对路径
 使用案例：
 单包：–conf spark.executor.extraClassPath=/tmp/add1.jar
 多包：spark.executor.extraClassPath=/tmp/add1.jar:/tmp/add2.jar

                