spark算子中用到scalal类，由于未序列化报错

最新推荐文章于 2022-11-22 14:54:43 发布

H_annuus

最新推荐文章于 2022-11-22 14:54:43 发布

阅读量6.7k

点赞数 3

分类专栏： linux hadoop 文章标签： scala spark Serializable 序列化 linux

本文链接：https://blog.csdn.net/u014487509/article/details/49994965

版权

当在Spark算子中使用Scala类时，可能会遇到因未实现Serializable导致的报错。解决这个问题的方法是确保相关类实现Serializable接口，以支持在分布式环境中正确序列化和传输。

摘要由CSDN通过智能技术生成

<span style="font-family: Arial, Helvetica, sans-serif; font-size: 12px; background-color: rgb(255, 255, 255);">由于spark算子用到的class没有实现序列化，报错如下所示</span>

15/11/23 14:43:47 ERROR Executor: Exception in task 0.0 in stage 4.0 (TID 4)
java.io.NotSerializableException: EntityMention
Serialization stack:
	- object not serializable (class: EntityMention, value: EntityMention@5cdadff6)
	at org.apache.spark.serializer.SerializationDebugger$.improveException(SerializationDebugger.scala:40)
	at org.apache.spark.serializer.JavaSerializationStream.writeObject(JavaSerializer.scala:47)
	at org.apache.spark.serializer.SerializationStream.writeValue(Serializer.scala:147)
	at org.apache.spark.storage.DiskBlockObjectWriter.write(DiskBlockObjectWriter.scala:181)
	at org.apache.spark.shuffle.sort.BypassMergeSortShuffleWriter.insertAll(BypassMergeSortSh