Spark kryo Jar包冲突问题排查

最新推荐文章于 2023-02-15 17:25:40 发布
最新推荐文章于 2023-02-15 17:25:40 发布
阅读量4.2k 收藏 2
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wankunde/article/details/86508745
版权

错误日志

Exception in thread "adaptive-query-stage-0" java.lang.NoSuchMethodError: com.esotericsoftware.kryo.Kryo.setInstantiatorStrategy(Lorg/objenesis/strategy/InstantiatorStrategy;)V
	at com.twitter.chill.KryoBase.setInstantiatorStrategy(KryoBase.scala:96)
	at com.twitter.chill.EmptyScalaKryoInstantiator.newKryo(ScalaKryoInstantiator.scala:59)
	at org.apache.spark.serializer.KryoSerializer.newKryo(KryoSerializer.scala:97)
	at org.apache.spark.serializer.KryoSerializerInstance.borrowKryo(KryoSerializer.scala:324)
	at org.apache.spark.serializer.KryoSerializerInstance.<init>(KryoSerializer.scala:309)

问题分析

  • KryoBase的setInstantiatorStrategy 方法参数类型为 org.objenesis.strategy.InstantiatorStrategy，super调用Kryo.setInstantiatorStrategy() 方法，但是该方法的参数类型为com.esotericsoftware.shaded.org.objenesis.strategy.InstantiatorStrategy。
  • 通过反编译 com.esotericsoftware.kryo.Kryo发现源码中确实是在引用com.esotericsoftware.shaded.org.objenesis.strategy.InstantiatorStrategy 类，太坑了.
  • 和官方给的源码都不一致。在官方发布的包中出现引用shaded的类，导致chill_2.11-0.8.4.jar 和Kryo中的方法冲突。看来官方还是推荐使用kryo-shaded包，但是kryo-shaded 中jar的代码被打包时搞乱了，别人也没法用～～～
  • 通过对比发现新的spark 使用了kryo-shaded-3.0.3.jar ,所以删除 kryo-2.22.jar 包，问题解决。
$ sm -d com.esotericsoftware.kryo.Kryo setInstantiatorStrategy
 declaring-class  com.twitter.chill.KryoBase                                                                                                                  
 method-name      setInstantiatorStrategy                                                                                                                     
 modifier         public                                                                                                                                      
 annotation                                                                                                                                                   
 parameters       org.objenesis.strategy.InstantiatorStrategy                                                                                                 
 return           void                                                                                                                                        
 exceptions                                                                                                                                                   

 declaring-class  com.esotericsoftware.kryo.Kryo                                                                                                              
 method-name      setInstantiatorStrategy                                                                                                                     
 modifier         public                                                                                                                                      
 annotation                                                                                                                                                   
 parameters       com.esotericsoftware.shaded.org.objenesis.strategy.InstantiatorStrategy                                                                     
 return           void                                                                                                                                        
 exceptions 

    org.objenesis.strategy.InstantiatorStrategy

$ sc -d *InstantiatorStrategy
 class-info        com.esotericsoftware.shaded.org.objenesis.strategy.InstantiatorStrategy                                                                    
 code-source       /usr/lib/spark-2.3.0-bin-ae/jars/kryo-2.22.jar                                                                                             
 name              com.esotericsoftware.shaded.org.objenesis.strategy.InstantiatorStrategy                                                                    
 isInterface       true                                                                                                                                       
 isAnnotation      false                                                                                                                                      
 isEnum            false                                                                                                                                      
 isAnonymousClass  false                                                                                                                                      
 isArray           false                                                                                                                                      
 isLocalClass      false                                                                                                                                      
 isMemberClass     false                                                                                                                                      
 isPrimitive       false                                                                                                                                      
 isSynthetic       false                                                                                                                                      
 simple-name       InstantiatorStrategy                                                                                                                       
 modifier          abstract,interface,public                                                                                                                  
 annotation                                                                                                                                                   
 interfaces                                                                                                                                                   
 super-class                                                                                                                                                  
 class-loader      +-sun.misc.Launcher$AppClassLoader@3cd1a2f1                                                                                                
                     +-sun.misc.Launcher$ExtClassLoader@d6da883                                                                                               
 classLoaderHash   3cd1a2f1                                                                                                                                   

 class-info        org.objenesis.strategy.InstantiatorStrategy                                                                                                
 code-source       /usr/lib/spark-2.3.0-bin-ae/jars/objenesis-2.1.jar                                                                                         
 name              org.objenesis.strategy.InstantiatorStrategy                                                                                                
 isInterface       true                                                                                                                                       
 isAnnotation      false                                                                                                                                      
 isEnum            false                                                                                                                                      
 isAnonymousClass  false                                                                                                                                      
 isArray           false                                                                                                                                      
 isLocalClass      false                                                                                                                                      
 isMemberClass     false                                                                                                                                      
 isPrimitive       false                                                                                                                                      
 isSynthetic       false                                                                                                                                      
 simple-name       InstantiatorStrategy                                                                                                                       
 modifier          abstract,interface,public                                                                                                                  
 annotation                                                                                                                                                   
 interfaces                                                                                                                                                   
 super-class                                                                                                                                                  
 class-loader      +-sun.misc.Launcher$AppClassLoader@3cd1a2f1                                                                                                
                     +-sun.misc.Launcher$ExtClassLoader@d6da883                                                                                               
 classLoaderHash   3cd1a2f1 


## JAD 反编译的源码
jad com.esotericsoftware.kryo.Kryo

import com.esotericsoftware.shaded.org.objenesis.instantiator.ObjectInstantiator;
import com.esotericsoftware.shaded.org.objenesis.strategy.InstantiatorStrategy;

[hadoop@hostname jars]$ ll chill*
-rw-r----- 1 hadoop hadoop 223573 7月   5 2018 chill_2.11-0.8.0.jar
-rw-r----- 1 hadoop hadoop  50619 7月   5 2018 chill-java-0.8.0.jar
[hadoop@hostname jars]$ ll kryo-shaded-3.0.3.jar 
-rw-r----- 1 hadoop hadoop 358390 7月   5 2018 kryo-shaded-3.0.3.jar

[hadoop@hostname jars]$ ll chill*
-rw-r--r-- 1 hadoop hadoop 224167 1月  16 10:57 chill_2.11-0.8.4.jar
-rw-r--r-- 1 hadoop hadoop  60483 1月  16 10:57 chill-java-0.8.4.jar
[hadoop@hostname jars]$ ll kryo-*
-rw-r--r-- 1 hadoop hadoop 442805 1月  16 10:57 kryo-2.22.jar
-rw-r--r-- 1 hadoop hadoop 358390 1月  16 10:57 kryo-shaded-3.0.3.jar
wankunde
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark 使用过程中遇见的问题
weixin_42130167的博客
12-18 3231
参考：https://blog.csdn.net/SCGH_Fx/article/details/72529132 ---------------------------------------------------------------------------------------------------------------------------------------------...
spark-jar冲突解决方案
寒夜
09-10 1078
文章目录1. 问题描述2. spark on yarn cluster模式的解决方案3. 使用maven-shade-plugin 1. 问题描述   spark项目的包和cdh集群中的冲突了，而且我暂时使用的是client 模式在yarn上部署（如果是cluster模式可以使用spark的config配置来解决）,所以只能使用 maven-shade-plugin的relocation功能来实现。 2. spark on yarn cluster模式的解决方案 将下面两个参数都设置为true spark.
Spark 类加载器导致的Kryo序列化问题
qq_41775852的博客
05-25 1335
文章目录背景Spark类加载器MutableURLClassLoader和ChildFirstURLClassLoaderMutableURLClassLoaderChildFirstURLClassLoader问题分析验证 背景 最近项目中设计到Spark BulkLoad Hbase，需要将一个自定义类的对象序列化成字节数组，存到Hbase中。考虑到Spark自带了java通用的Kryo序列化框架，所以参考网上的代码用Kryo实现了一个通用的序列化方法 public class KryoUtils {
org.apache.hive.com.esotericsoftware.kryo.kryoexception: encountered unregistered class id 错误解决办法
houzhizhen的专栏
08-10 3032
执行hive 任务的时候 有些任务会报下列错误 hive 0.14 + 版本才会有这个问题， 任务重做之后可能又会成功。 1.错误信息： hdfs://nameservice1/tmp/hive/dbs/9c29873a-664f-45a4-87f5-aab6601b9661/hive_2015-09-22_14-51-49_927_648109380558598376-11/-mr-1...
spark序列化异常和Executor的僵死问题
西贝没有横
01-29 1692
在Spark上执行hive语句的时候，出现类似于如下的异常： org.apache.spark.SparkDriverExecutionException: Execution error     at org.apache.spark.scheduler.DAGScheduler.handleTaskCompletion(DAGScheduler.scala:849)
kryo方式实现tomcat Session共享所需jar包
04-05
要使用Kryo实现Session共享，你需要添加相关的jar包。"kryo_mem_jars"可能包含以下核心依赖： 1. Kryo库：如`kryo-x.x.x.jar`，这是主要的序列化库。 2. 将Kryo与Servlet容器集成的库，如`kryo-serializers-x.x.x....
kryo序列化jar包集合
03-04
4. **版本兼容性**：在升级Kryo库版本时，需要考虑序列化数据的兼容性问题，以免旧版本的代码无法读取新版本序列化的数据。 5. **线程安全**：Kryo实例不是线程安全的，如果你的应用需要多线程并行序列化，建议每个...
kryo-1.01.jar包
09-07
heritrix3项目爬虫中所使用到的一个依赖包,kryo-1.01.jar包,有需要的朋友们,赶紧下载吧, 本人亲测过. 有积分的猿友们,赏个积分,没积分的,关注博主,私信发.
kryo.jar support KryoPersonDeserializer and KryoPersonSerializer
12-13
support kryo KryoPersonDeserializer and KryoPersonSerializer，support kafka producer and consumer
kryo-4.0.2.jar
最新发布
05-27
javaweb常用jar包，javaee框架常用jar包，亲测可用，若需其他版本可给我留言
Cannot resolve com.XXX:XXX:0.0.1-SNAPSHOT
热门推荐
村东头老杨的博客
02-07 3万+
问题出处： 1、首先检查maven中conf中的settings.xml是否配置了 2、检查mavenjar宝存放位置及maven版本file-sttings-maven
基于IDEA环境下的Spark2.X程序开发
weixin_30394669的博客
03-14 210
我们选择在线安装 这个是windows下的scala,直接双击安装就可以了 安装好之后可以验证一下 这个是我本地的jdk1.8安装包，直接双击安装 安装完成后可以验证一下 https://archive.apache.org/dist/mav...
spark 报错
weixin_30836759的博客
07-05 1011
maven打包时报错： 报错信息： "D:\Program Files\Java\jdk1.8.0_131\bin\java" -Dmaven.multiModuleProjectDirectory=D:\Workspace\IDEA_work\Spark_Work\spark01\sparkCore "-Dmaven.home=D:\Program Files\JetB...
编译spark-bench
七爷OK
04-20 789
执行 <SPARK_BENCH_HOME>/bin/build-all.sh 编译的结果： [INFO] [INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ SQLApp --- [INFO] Using 'UTF-8' encoding to copy filtered resources...
Kryo：快速、高效的序列化框架
z69183787的专栏
09-21 3663
http://hao.jobbole.com/kryo/ Kryo是一个快速高效的Java序列化框架，旨在提供快速、高效和易用的API。无论文件、数据库或网络数据Kryo都可以随时完成序列化。Kryo还可以执行自动深拷贝（克隆）、浅拷贝（克隆）。这是对象到对象的直接拷贝，非对象->字节->对象的拷贝。 安装 Kryo JAR可以在发布页面和Maven中央仓
maven解决包冲突简单方式(插件maven helper | maven指令)
龙飞的博客
02-15 2904
在Java开发中，常常会遇到不同jar包之间存在冲突的情况，这可能会导致编译错误、运行时异常等问题。可用插件maven helper 或者 maven指令(mvn dependency:tree)进行排查
使用kryo做序列化会遇到的几个坑
临渊而立
04-05 2万+
最近在整理一个开发框架：主体：spring4+mybatis3+mysql前端：easyui 或者 Ace Admin，后者是一个基于bootstrap 的强大后台管理系统界面。集群：Tomcat+kryo+Redis其它：c3p0链接池、P6SPY作SQL跟踪、logback作日志。其中在整合kryo的时候，遇到了一些挑战，记录如下：问题一：在系列化有Hashtable、Hashmap之类的对象...
Kryo序列化与反序列化两种方式
weixin_41939278的博客
09-07 7000
1、第一种是序列化对象到byte[]，具体代码示例如下： 1.1 要序列化的对象类Simple.java： package kryoserializabletest; import java.io.Serializable; import java.util.Map; /** * Created by 0262000099 on 2018/9/6. */ public class Si...
java spark kryo序列化案例
04-03
Kryo是一个快速、高效的Java序列化框架，比Java自带的序列化框架更快、更小、更节省内存。在Spark中，使用Kryo作为默认的序列化框架可以显著地提高性能。下面是一个使用Kryo序列化的案例： ```java import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.serializer.KryoRegistrator; import com.esotericsoftware.kryo.Kryo; public class KryoExample { public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("KryoExample").setMaster("local"); conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer"); conf.set("spark.kryo.registrator", MyKryoRegistrator.class.getName()); JavaSparkContext sc = new JavaSparkContext(conf); JavaRDD<String> lines = sc.textFile("input.txt"); JavaRDD<MyObject> objects = lines.map(line -> { MyObject obj = new MyObject(); obj.setId(Integer.parseInt(line.split(",")[0])); obj.setName(line.split(",")[1]); return obj; }); objects.foreach(obj -> System.out.println(obj.getId() + ": " + obj.getName())); } public static class MyObject { private int id; private String name; public int getId() { return id; } public void setId(int id) { this.id = id; } public String getName() { return name; } public void setName(String name) { this.name = name; } } public static class MyKryoRegistrator implements KryoRegistrator { @Override public void registerClasses(Kryo kryo) { kryo.register(MyObject.class); } } } ``` 在上面的代码中，我们首先创建了一个SparkConf对象，并设置了应用名称和运行模式。然后，我们设置了序列化器为KryoSerializer，并指定了KryoRegistrator为MyKryoRegistrator。MyKryoRegistrator类是一个自定义的Kryo注册器，用于注册我们需要序列化的类MyObject。 接下来，我们使用JavaSparkContext读取了一个文本文件，并将每一行转换成一个MyObject对象。最后，我们对这些对象进行了遍历，并输出了它们的id和name属性。 需要注意的是，如果我们没有使用KryoSerializer序列化器，程序将默认使用Java自带的序列化器，这样可能会导致性能瓶颈。因此，建议在Spark中使用Kryo作为默认的序列化器。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值