spark程序jar与spark lib jar冲突解决，加载顺序

最新推荐文章于 2022-03-23 15:51:50 发布

IndianHao

最新推荐文章于 2022-03-23 15:51:50 发布

阅读量585

点赞数

文章标签： spark java

本文链接：https://blog.csdn.net/IndianHao/article/details/110134351

版权

spark程序jar与spark lib jar冲突解决，加载顺序

由于默认情况下，优先级SPARK_HOME/lib/jar包 > 用户程序中的jar包，如果想让用户程序jar优先执行，那么要使用 spark.yarn.user.classpath.first (spark1.3以前）或者 spark.executor.userClassPathFirst 和spark.driver.userClassPathFirst 参数。
这些参数能让用户的jar覆盖SPARK_HOME/lib的jar。在spark conf中将他们设置为"true"即可。