SPARK java.io.NotSerializableException 异常处理

最新推荐文章于 2024-07-31 06:15:00 发布

qte_acm

最新推荐文章于 2024-07-31 06:15:00 发布

阅读量1.2w

点赞数 1

分类专栏： spark 文章标签： spark scala

本文链接：https://blog.csdn.net/zengchen__acmer/article/details/52063908

版权

本文介绍了在Spark standalone模式下遇到的`java.io.NotSerializableException`异常情况，包括当类未实现Serializable接口和传入含有SparkContext的参数时引发的问题。同时，文章还讨论了`org.apache.spark.SparkException: Only one SparkContext may be running in this JVM`错误，解释了在同一次函数调用或同一个main中创建多个SparkContext的不正确做法。

摘要由CSDN通过智能技术生成

最近一直在写spark 相关的项目，但是以前从没有接触过spark 相关的东西，只能是边学边用。
后面准备在这里记录在学习、使用spark过程中，遇到的问题
今天要记录的问题是：使用 spark alone 运行模式下，进场遇到的问题—— java.io.NotSerializableException

1、在哪几种情况下，会发生这个问题

（1）类、方法  没有被序列化
    类没有被序列化， 代码如下:

class GetData {
   
    def init(): Unit = {
        val rdd = sc.textfile(.....)
        val local = rdd.map(.....)
    }
}

object test {
   
    val s = new GetData()
    s.init()
}