如果自己的jar和spark默认的jar冲突

最新推荐文章于 2023-03-15 15:04:04 发布
最新推荐文章于 2023-03-15 15:04:04 发布
阅读量1.1k 收藏 1
点赞数 2
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hongtaq156136/article/details/87975426
版权

spark.driver.userClassPathFirst

 

spark.driver.userClassPathFirstfalse(Experimental) Whether to give user-added jars precedence over Spark's own jars when loading classes in the driver. This feature can be used to mitigate conflicts between Spark's dependencies and user dependencies. It is currently an experimental feature. This is used in cluster mode only.
hongtaq156136
关注
专栏目录
spark引用jar包_spark程序jar与spark lib jar冲突，加载顺序
weixin_32098599的博客
02-11 884
用户编写的spark程序打包成jar后提交到yarn执行时，经常会遇到jar包中明显存在某个类，但任务提交到yarn运行时却找不到类或方法(java.lang.NoSuchMethodError)的问题。本文总结下产生此类问题的原因及解决方案。例子比如我们有个spark程序用到了guava的Splitter类：import com.google.common.base.Splitter;...Li...
spark整合es所发生的guava的jar包冲突问题
zhaoshengli1990的博客
03-19 993
所报错误为：java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecutor()Ljava/util/concurrent/Executor; at org.elasticsearch.threadpool.ThreadPool.<clinit>(ThreadPoo...
scala sdk 与spark版本冲突
03-24
scala sdk-2.12 与spark版本冲突，spark-1.6最高支持scala sdk-2.10.x版本
spark作业jar包冲突
kehan_c的博客
07-18 808
可以在submit-spark时使用如下配置： –conf spark.yarn.user.classpath.first=“true” 和 –jars xxxxxxx,xxxxxxx 这个设置是优先使用用户提交的jar，在遇到冲突时默认先使用用户提交的jar包，这样就可以屏蔽公共jar包了。（尤其适合公司使用） ...
Spark中用户业务代码里使用的jar与框架中内置jar冲突
liuwei0376的专栏
09-26 1133
最近在开发一个调用第三方接口, 并将接口中数据保存值mysql里的功能时, 遭遇了java开发中常见的jar冲突场景. 开发背景是这样的: 大数据对外输出的业务数据中, 有一块是关于业务A的状态判断的(如: 如何判断一个订单为有效订单), 并围绕业务A来做后续业务的数据分析工作. 关于"业务A的状态判断"这块业务非常复杂, 设计到三十多个业务流程的分支判断, 早前大数据自己实现了一版(准实时基于spark;离线基于hive), 但由于分支覆盖面考虑不周, 偶尔会报一些issue, 这些issue或多或
spark程序jar与spark lib jar冲突解决，加载顺序
IndianHao的博客
11-25 618
Spark程序jar包冲突
spark-jar冲突解决方案
寒夜
09-10 1107
文章目录1. 问题描述2. spark on yarn cluster模式的解决方案3. 使用maven-shade-plugin 1. 问题描述   spark项目的包和cdh集群中的冲突了，而且我暂时使用的是client 模式在yarn上部署（如果是cluster模式可以使用spark的config配置来解决）,所以只能使用 maven-shade-plugin的relocation功能来实现。 2. spark on yarn cluster模式的解决方案 将下面两个参数都设置为true spark.
Spark的guava jar包版本冲突导致获取Elasticsearch连接失败
fengbonu的博客
03-09 3434
Spark集成Elasticsearch，在local下正常运行，提交到集群运行jar出现异常： org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 3.0 failed 4 times, most recent failure: Lost task 0.3 in stage 3.0...
Spark学习: Spark-Scala-IntelliJ开发环境搭建和编译Jar包流程
databatman的工厂
08-29 1万+
spark-scala使用IntelliJ搭建的开发环境。
Spark运行在EMR Jar包(guava)冲突问题
苍穆的博客
06-21 2527
Spark程序运行在EMR的时候发生Jar包冲突(主要是guava和commons-configuration两个包发生冲突)， 程序中需要使用guava-20.0以及commons-configuration-1.10两个包
Spark 程序依赖与spark 库jar包冲突解决方案
sunyang098的博客
07-20 2877
问题描述：使用spark的StructuredStreaming写数据到es，加载的spark集群jars下的jar包版本（httpclient-4.5.4.jar）跟依赖的jar包版本不一致（httpclient-4.5.10.jar），导致任务失败。 我在idea上本地调试，使用httpclient-4.5.10.jar的话，是能正常访问es的。 在yarn上的错误日志： Caused by: java.lang.BootstrapMethodError: call site initiali.
spark java jar 依赖_Spark任务提交jar包依赖解决方案
weixin_34990053的博客
02-27 727
通常我们将Spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。下面有三个解决方法：方法一：spark-submit –jars根据spark官网，在提交任务的时候指定–jars，用逗号分开。这样做的缺点是每次都要指定jar包，如果jar包少的话可以这么做，但是如果多的话会...
优雅解决Spark Application jar包冲突问题
小小北漂
03-18 4027
前言 当我们开发的Spark Application变得越来越复杂，依赖的jar包越来越多时，难免会碰到jar包冲突的问题。 举个例子： 我们的业务代码用到了一个第三方库，好比：guava（虽然好用，但是版本间的兼容性差的一坨翔） Spark本身也依赖了guava，但是和业务代码中依赖的guava版本不同 这种情况下，把我们的Spark Application提交到集群里执行，很有可能因为...
Spark应用依赖jar包的添加解决方案
热门推荐
Yage的博客
05-23 1万+
在Spark应用中，我们发现，在${SPARK_HOME}\lib文件夹中添加jar包时并不起作用。那么，要如何使得我们编写的Sparky应用依赖的jar有效呢？有如下四种方案： 1.使用参数–jars 添加本地的第三方jar文件（运行spark-submit脚本的机器上），可以给定多个jar文件，中间用逗号隔开 bin/spark-sql --jars /opt/modules/cdh-5.3...
Spark依赖包加载顺序和冲突解决方案
freeRoad
05-31 9479
Spark 依赖包来源 我们知道Spark application运行加载依赖有三个地方： SystemClasspath -- Spark安装时候提供的依赖包 Spark-submit --jars 提交的依赖包 Spark-submit --config "spark.{driver/executor}.extraClassPath=someJar"提交的依赖包 Spark...
记一次yarn环境中应用程序jar冲突解决办法
xiaoxiaohacker的专栏
12-18 2447
用户编写的spark程序打包成jar后提交到yarn执行时，经常会遇到jar包中明显存在某个类，但任务提交到yarn运行时却找不到类或方法（java.lang.NoSuchMethodError）的问题。仔细看自己代码，明明有这个jar，那多半就是jar冲突了。 只有当jar的版本不一致时候才会冲突，那么本着治本精神去百度，可以找到如下文章 https://www.jianshu.com/p/...
jar包冲突解决方案
最新发布
雪山飞狐
03-15 5413
tomcat等容器的classLoader获取加载路径下的文档列表时不排序，依赖于底层的文档系统返回顺序。当不同环境之间的文档系统不一致时，就会出现有的环境没问题，有的环境有冲突。2.不同的jar包出现了类路径一致的类，同样的类出现在多个不同的依赖jar里，由于jar加载的先后顺序导致了JVM加载了错误版本的类。应用选择了错误的版本导致jvm加载不到需要的类或者加载了错误版本的类。由于jvm的双亲委派机制，层级越高的类加载器越先加载其加载路径下的类。除了标准的规则之外，还可以扩展该插件，编写自己的规则。
Spark依赖包冲突解决
02-12 1673
背景：公司选用Apache Beam 用于大数据程序开发; Apache Beam 提供了一系列通用的JAVA API, 通用是指使用Apache Beam开发的程序，可以在不对代码做任何修改的情况下运行在当下流行的计算框架上，如SPARK, FLINK...Beam的程序运行在Spark, 需要依赖Spark,Hadoop 甚至kafka的一些JAR包。如果Beam的程序打成一个fat...
Spark jar包加载顺序及冲突解决
epitomizelu的专栏
03-23 5951
一，spark jar包加载顺序 1，SystemClasspath – Spark安装时候提供的依赖包，通常是spark home目录下的jars文件夹 【SystemClassPath】 2，Spark-submit --jars 提交的依赖包 【UserClassPath】 3，Spark-submit app.jar或者shadowJar打的jar 【UserClassPath】 二，jar包冲突解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值