org.apache.hive.com.esotericsoftware.kryo.kryoexception: encountered unregistered class id 错误解决办法

最新推荐文章于 2023-12-11 00:32:28 发布

oO寒枫Oo

最新推荐文章于 2023-12-11 00:32:28 发布

阅读量2w

点赞数 1

分类专栏： hive

本文链接：https://blog.csdn.net/lxpbs8851/article/details/48654671

版权

当执行Hive任务时遇到org.apache.hive.kryo.kryoexception错误，尤其是在Hive 0.14及以上版本。该问题可能是由于未注册的类ID导致。解决方案包括在客户端配置为javaXML，如果是通过CM安装，可以在高级选项中添加。临时处理方式是在报错的Hive任务前设置hive.plan.serialization.format为javaXML，对于少量失败任务，可通过session级别设置此参数。

摘要由CSDN通过智能技术生成

执行hive 任务的时候有些任务会报下列错误 hive 0.14 + 版本才会有这个问题，

任务重做之后可能又会成功。

1.错误信息：

hdfs://nameservice1/tmp/hive/dbs/9c29873a-664f-45a4-87f5-aab6601b9661/hive_2015-09-22_14-51-49_927_648109380558598376-11/-mr-10066/129d4884-d21a-44f2-970c-454148932292/map.xml:
org.apache.hive.com.esotericsoftware.kryo.kryoexception: encountered unregistered class id: 109
serialization trace:
parentoperators (org.apache.hadoop.hive.ql.exec.tablescanoperator)
aliastowork (org.apache.hadoop.hive.ql.plan.mapwork)
at org.apache.hadoop.hive.ql.exec.utilities.getbasework(utilities.java:450)
at org.apache.hadoop.hive.ql.exec.utilities.getmapwork(utilities.java:296)
at org.apache.hadoop.hive.ql.io.hiveinputformat.init(hiveinputformat.java:268)
at org.apache.hadoop.hive.ql.io.hiveinputformat.pushprojectionsandfilters(hiveinputformat.java:484)
at org.apache.hadoop.hive.ql.io.hiveinputformat.pushprojectionsandfilters(hiveinputformat.java:477)
at org.apache.hadoop.hive.ql.io.combinehiveinputformat.getrecordreader(combinehiveinputformat.java:715)
at org.apache.hadoop.mapred.maptask$trackedrecordreader.<init>(maptask.java:169)
at org.apache.hadoop.mapred.maptask.runoldmapper(maptask.java:432)