Spark Exception: Task Not Serializable

目录：

1、问题

2、现象

3、原因

4、解决方案

---

1、问题

Spark Exception: Task Not Serializable

2、现象

运行代码抛出异常，意思是没有序列化

3、原因

常见的原因是代码里引用定义的方法，定义的方法不能序列化

4、解决方案

方案一：

在class 或者object上面extends serialize

方案二：

val conf = new SparkConf()
.setAppName(yourAppName)
.set("spark.serializer","org.apache.spark.serializer.KryoSeria	lizer")

方案三：

在引用的方法上加上注解，@Transient，这个注解意思是，这个方法不用序列化了