Scala,Spark依赖jar包冲突解决方法

最新推荐文章于 2024-07-06 17:44:31 发布

Code_LT

最新推荐文章于 2024-07-06 17:44:31 发布

阅读量4.1k

点赞数 1

分类专栏： Scala Spark 文章标签： spark scala

本文链接：https://blog.csdn.net/Code_LT/article/details/124322573

版权

Scala 同时被 2 个专栏收录

40 篇文章 1 订阅

订阅专栏

Spark

40 篇文章 5 订阅

订阅专栏

问题背景：

在提交任务运行时，报了如下错误：
Caused by: java.lang.BootstrapMethodError: call site initialization exception
…
Caused by: java.lang.invoke.LambdaConversionException: Invalid receiver type interface org.apache.http.Header; not a subtype of implementation type interface org.apache.http.NameValuePair

问题原因

环境中httpclient包版本太低（其他类似报错也是对应包版本问题导致）

解决方案

确定哪个包引起

找到报错中的错误信息，如本例中：
org.apache.http.Header
org.apache.http.NameValuePair

在IDEA中新建一个文件，复制上述两行代码，然后按住Ctrl,点击Header和NameValuePair跳转到他们的定义文件中。然后按住Ctrl点击定义文件上方的package，这里是http。会在IDEA左侧显示属于哪个jar包。

package org.apache.http;

IDEA里解决冲突

如果是在IDEA中开发，可参考
https://www.cnblogs.com/xxoome/p/13858569.html

解决，但该方法只是在你本地开发环境（即IDEA中解决了冲突），当提交到集群环境中运行时，是会报一样的错。甚至在本地开发环境压根没遇到过jar包冲突，但到集群上去跑时，就会报错。原因是因为集群环境有自己jar包使用顺序。

spark环境中解决冲突

当我们用spark-submit或spark-shell提交代码时，Spark application运行加载依赖有三个地方：

SystemClasspath – Spark安装时候提供的依赖包【SystemClassPath】
Spark-submit --jars 提交的依赖包【UserClassPath】
Spark-submit app.jar或者shadowJar打的jar 【UserClassPath】

Spark 依赖包默认优先级
默认加载顺序如下：

SystemClasspath – Spark安装时候提供的依赖包
UserClassPath – Spark-submit --jars 提交的依赖包或用户的app.jar

具体参考：
https://blog.csdn.net/adorechen/article/details/90722933
https://blog.csdn.net/a822631129/article/details/118933856
https://blog.csdn.net/weixin_43845733/article/details/109678670