关于spark运行FP-growth算法报错com.esotericsoftware.kryo.KryoException

最新推荐文章于 2023-09-22 11:09:07 发布
最新推荐文章于 2023-09-22 11:09:07 发布
阅读量4.1k 收藏 1
点赞数
分类专栏： spark python 算法 文章标签： spark python 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_29508201/article/details/50637233
版权
在Spark 1.4版本上执行FP-growth算法时遇到com.esotericsoftware.kryo.KryoException，错误源于scala.collection.mutable.ListBuffer字段设置。通过查阅Apache官网和StackOverflow上的资料，发现该问题是由于Kryo序列化导致的。解决方案是在spark-defaults.conf中替换序列化类或者在运行脚本时直接指定使用不同序列化器。提供了一个修复问题的运行脚本示例，并指出升级到最新Spark版本也可避免此问题。
摘要由CSDN通过智能技术生成

Spark运行FP-growth异常报错

在spark1.4版上尝试运行频繁子项挖掘算法是，照搬官方提供的python案例源码时，爆出该错误com.esotericsoftware.kryo.KryoException (java.lang.IllegalArgumentException: Can not set final scala.collection.mutable.ListBuffer field org.apache.spark.mllib.fpm.FPTree$Summary.nodes to scala.collection.mutable.ArrayBuffer

网上关于该pyspark的资料不多，最终找到这两篇有价值的博文，
一是apache官网提供类似错误的：https://www.baidu.com/link?url=pChluzupXXYP1bZZGcYLu63HP2GKNFopp-XQnptShCGcDOhswe-7HSmm54rpjXeU7Mh00E0nTtqo7S8xtofy6_&wd=&eqid=e3291c23000d56de0000000556b3fa68

二是stackoverflow上提供的：http://stackoverflow.com/questions/32126007/fp

最低0.47元/天 解锁文章
Running_you
关注
专栏目录
kryo反序列化问题 com.esotericsoftware.kryo.KryoException: Encountered unregistered class ID: 48
悟已往之不谏，知来者之可追
06-16 2514
报错 2020-06-12 18:33:29.211 ERROR 229109 --- [nioEventLoopGroup-4-33] 76 :失败,com.esotericsoftware.kryo.KryoException: Encountered unregistered class ID: 48 at com.esotericsoftware.kryo.util.DefaultClassResolver.readClass(DefaultClassResolver.java:
java.io.IOException: com.esotericsoftware.kryo.KryoException: Encountered unregistered class ID: 110
悟已往之不谏，知来者之可追
07-14 2177
报错 rpc消费者报如下错误 at org.apache.dubbo.rpc.protocol.dubbo.DecodeableRpcResult.handleValue(DecodeableRpcResult.java:134) at org.apache.dubbo.rpc.protocol.dubbo.DecodeableRpcResult.decode(DecodeableRpcResult.java:92) at org.apache.dubbo.rpc.prot
hive udf kyroexception unable to find class
遥望......
12-20 2724
H ive-On-Spark配置成功后，准备试用下Hive UDF是否能在Spark-on-Hive环境下正常使用： set hive.execution.engine=spark; add jar viewfs:///dirs/brickhouse-0.7.1-SNAPSHOT-jar-with-dependencies.jar; create temporary functi...
Flink报错：com.esotericsoftware.kryo.KryoException: java.lang.UnsupportedOperationException
weixin_927326的博客
09-22 1104
Flink 报错：com.esotericsoftware.kryo.KryoException: java.lang.UnsupportedOperationException
错误：Caused by:org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow.Available: ...
weixin_34195546的博客
01-26 264
这个是写入Redis时用的序列化器，然后错误提示是超过了大小限制，把配置调大即可。 .set("spark.kryoserializer.buffer.max","128"); 如果没有配置，那么找一下看下有没有硬编码写了大小的范围导致的。   参考： http://blog.csdn.net/keyuquan/article/details/73379955 https://...
记录一个序列化报空指针的问题 Caused by: com.esotericsoftware.kryo.KryoException: java.lang.NullPointerException
T_Antry
07-25 814
今天早上处理了一个序列化报空指针的问题，最终看了源码，也没找到对应空的地方。最后只好选择不做序列化处理。使用了transient 关键字
在使用FP-Growth算法时程序报错问题
anlu的博客
04-25 1816
今天试验了FP-Growth算法，日志做处理，打包到集群运行时报错，报错，但是网上找资料找不到 Items in a transaction must be unique but got WrappedArray 出现此问题的主要原因是fpg算法要求输入的数据是RDD(Array[String])类型，但是Array类型中是不允许出现重复的内容的，所以才会出现这个错误，只需
org.apache.hive.com.esotericsoftware.kryo.kryoexception: encountered unregistered class id 错误解决办法
热门推荐
lxpbs8851的专栏
09-22 2万+
执行hive 任务的时候 有些任务会报下列错误 hive 0.14 + 版本才会有这个问题， 任务重做之后可能又会成功。 1.错误信息： hdfs://nameservice1/tmp/hive/dbs/9c29873a-664f-45a4-87f5-aab6601b9661/hive_2015-09-22_14-51-49_927_648109380558598376-11/-mr-100
tez报错 java.lang.ClassNotFoundException: com.esotericsoftware.kryo.pool.KryoFactory
yy的博客
07-12 1462
报错内容: Vertex failed, vertexName=Map 1, vertexId=vertex_1624327491036_0158_1_00, diagnostics=[Vertex vertex_1624327491036_0158_1_00 [Map 1] killed/failed due to:INIT_FAILURE, Fail to create InputInitializerManager, org.apache.tez.dag.api.TezReflectionExc..
spark：报错com.esotericsoftware.kryo.KryoException: Buffer underflow.
啥也不会的博客
09-07 5916
场景 spark-sql跑一个较大的任务（几亿条数据），数据落盘时报错： com.esotericsoftware.kryo.KryoException: Buffer underflow. 探索 查看抛出这个报错的源码：https://github.com/apache/spark/blob/ebdf41dd698ce138d07f63b1fa3ffbcc392e7fff/core/src/main/scala/org/apache/spark/serializer/KryoSerialize
关于spark运行FP-growth算法报错
GameOverTryAgain的博客
08-17 870
package SparkJavaCluster; /** * @Author: zhuchangmin * @Date: 2018/8/15 10:50 * @Version 1.0 * @FileName: SparkJavaCluster.FPDemo_Cluster2.java * @Software: IntelliJ IDEA */ import org.apache...
【Java】Kryo运行报错：Exception in thread “main“ java.lang.IllegalArgumentException:Class is not registered
付费专栏已不再维护，请勿购买
12-22 1712
处理Kryo运行报错：Exception in thread "main" java.lang.IllegalArgumentException: Class is not registered
python实现fp_growth调包_fp-growth代码问题（Python）
weixin_39834084的博客
12-15 329
网上的 python3fp-growth代码每次在执行时可能会出现找出的频繁项集不一致的情况，这是因为每次执行代码时建的FP树可能不一致。加了一行代码可以解决这个问题(第59行)：先对frequentItemsInRecord 按 key 的ASSIC码排序，然后再按照 key 的支持度(即value值)降序排列。之所以这么做是因为frequentItemsInRecord 中可能会出现支持...
org.apache.spark.SparkException: Kryo serialization failed
亮仔的专栏
02-22 873
在sparksql中显示的指定了mapjoin，导致广播的数据量太大，导致序列化超过指定大小。去除显示指定mapjoin sql如下： with einfo as     (        select            E6.EMP_NO    ,            E6.TEAM_ID       ,            E6.TEAM_NAME         ...
Spark Jdbc报NullPointerException
一个不安分的程序员
11-24 2360
问题描述： 运行使用Spark Jdbc读取postgresql程序报错： Exception in thread "main" java.lang.NullPointerException at java.util.Hashtable.put(Hashtable.java:460) at java.util.Properties.setProperty(Properties.java:166) at org.apache.spark.sql.execution.datasources.jdbc
Spark 类加载器导致的Kryo序列化问题
qq_41775852的博客
05-25 1442
文章目录背景Spark类加载器MutableURLClassLoader和ChildFirstURLClassLoaderMutableURLClassLoaderChildFirstURLClassLoader问题分析验证 背景 最近项目中设计到Spark BulkLoad Hbase，需要将一个自定义类的对象序列化成字节数组，存到Hbase中。考虑到Spark自带了java通用的Kryo序列化框架，所以参考网上的代码用Kryo实现了一个通用的序列化方法 public class KryoUtils {
java spark-streaming Kryo序列化缓冲区太小报错
weixin_43241706的博客
05-20 724
错误信息： KryoException: Buffer overflow. Available: 0, required：XXX SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/data/hadoop/yarn/local/filecache/185/spark2-hdp-yarn-archive.tar.gz/slf4j-log4j12-1.7.16.jar!/org/slf4j/
Kryo序列化：Class Not Found的可能原因
寂寞的博客
11-20 2265
最近写了个Spark应用，本地测试没问题，打成jar包，通过Livy运行Spark常驻服务，在Livy接收参数时使用Kryo进行反序列化却找不到类。 示例代码如下： object LivyDriver { def runJob(spark: SparkSession, encodeJsonParam: String): String = { val param = KryoSerializer.deserialize(EncodeUtil.base64DecodeBytes(encodeJso
kryo com.esotericsoftware.kryo.KryoException: Buffer underflow.
赵成默
11-30 2204
前言 今天想使用的kryo替换掉原本java自带的序列化方式，原因是kryo的序列化速度实在是太香了，比Java至少高出了近4倍（但是kryo也有缺点，不够成熟，bug多，跨语言难等），这些都不是正点 错误 在测试1w数据的时候，反序列化一直失败，抛出下面的错误 com.esotericsoftware.kryo.KryoException: Buffer underflow. 缓存溢出？？？！我原先还以为是数据太大了，就缩小数据量试一下，还是不行 尝试google，度娘都没有结果 下面先看看我的代码
Caused by: org.apache.hive.com.esotericsoftware.kryo.KryoException: java.lang.UnsupportedOperationException
最新发布
11-22
根据提供的引用内容，出现`Caused by: org.apache.hive.com.esotericsoftware.kryo.KryoException: java.lang.UnsupportedOperationException`的错误是由于在flink消费kafka时解析数据时发生了不支持的操作。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值