可以在submit-spark时使用如下配置:
–conf spark.yarn.user.classpath.first=“true”
和
–jars xxxxxxx,xxxxxxx
这个设置是优先使用用户提交的jar,在遇到冲突时默认先使用用户提交的jar包,这样就可以屏蔽公共jar包了。(尤其适合公司使用)
可以在submit-spark时使用如下配置:
–conf spark.yarn.user.classpath.first=“true”
和
–jars xxxxxxx,xxxxxxx
这个设置是优先使用用户提交的jar,在遇到冲突时默认先使用用户提交的jar包,这样就可以屏蔽公共jar包了。(尤其适合公司使用)