Spark中--jars与spark.driver.extraClassPath、spark.executor.extraClassPath区别与联系
–jars:提供系统中没有的包 运行时将包分发到worker指定目录例如/var/run/spark/work不会加载到executor的classPath多个包用逗号分隔spark.{driver|executor}.extraClassPath多版本的相同类被加载进ClassLoader,link的时候发生错误时,用了指定版本只需要指明包名即可,不需要指明路径该依赖包具有最高优先级,但只能指定一个包yarn-client模式下,–jars不会把包拷贝到本地,所以需要使用绝对
原创
2021-11-12 12:05:32 ·
4399 阅读 ·
0 评论