spark依赖相关参数调优：spark.yarn.jars、spark.executor.extraClassPath、spark.driver.extraClassPath

学亮编程手记

于 2021-07-07 14:57:24 发布

阅读量1k

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/a772304419/article/details/118546765

版权

大数据专栏收录该内容

567 篇文章

订阅专栏

spark.yarn.jars hdfs://mycluster/work/spark_lib/jars/*

提交时在spark-default中设定参数，将所有需要的jar包考到一个文件夹里，然后在参数中指定该目录就可以了，较上一个方便很多
spark.executor.extraClassPath
spark.driver.extraClassPath

spark java jar 依赖_Spark任务提交jar包依赖解决方案

spark.yarn.jar和spark.yarn.archive的使用