错误
闭包检查
- 进入foreach方法
- 进如clean方法
- 进入clean()中
- 进入clean()中,判断是否是闭包 文件名包含"$anonfun$"
- 在ClosureCleaner.scala的clean()中继续执行,到了ensureSerializable()方法
- 进入serialize(func)方法,找到实现Javaserialize
- 找到out.writeObject(t)
- 进入到 out.writeObject(t)方法中,是一个抽象类,找到实现方法
- 进入到objOut.writeObject(t)方法
- 进入到writeObject0(obj, false)方法
- 找到这行判断代码,可以发现会返回一个NotSerializableException(cl.getName());错误
解决方案
Driver:算子以外的代码都是在Driver端执行
Executor:算子里面的代码都是在Executor端执行
终极解决 方案 所有类前加case
序列化框架
- Java的序列化能够序列化任何的类。但是比较重,序列化后对象的提交也比较大.
- Spark出于性能的考虑,Spark2.0开始支持另外一种Kryo序列化机制。Kryo速度是Serializable的10倍。当RDD在Shuffle数据的时候,简单数据类型、数组和字符串类型已经在Spark内部使用kryo来序列化。
- 即使使用kryo序列化,也要继承Serializable接口。