关于spark的kryo序列化问题

qq_45380802

已于 2022-06-21 10:59:08 修改

阅读量363

点赞数

文章标签： spark 大数据 big data

于 2022-06-21 10:57:15 首次发布

本文链接：https://blog.csdn.net/qq_45380802/article/details/125386888

版权

本文介绍了Spark中对象序列化的必要性，解释了如何避免`task not serializable`错误，建议在Spark配置中启用kryo.spark.kryo.registrationRequired以检查类注册。同时，强调了注册类的重要性，并提供了示例代码注册了`person`和`cat`类。了解这些细节对于优化Spark应用性能和避免运行时错误至关重要。

摘要由CSDN通过智能技术生成

1.在object里面要继承Serializable
在这里插入图片描述否则会提示你task未序列化，也可以将样例类设为静态类2.在spark的conf中设置kryo.spark.kryo.registrationRequired设置为true，这样会对类进行监测是否注册，未注册则报错
3.注册类，必须这么做，不这样做注册会失败，下面代码注册了两个类person，cat
在这里插入图片描述