spark： Task not serializable （java）

spark程序用scala要比java方便的多，无奈java不熟，Scala不会。而每次遇到的坑，找半天，总是scala版本。

Task not serializable：没有进行序列化

org.apache.spark.SparkException: Task not serializable

原因有2点：

1.使用的map,filter等RDD操作里引用了外部定义的变量，例如：

String testT = "test";
JavaRDD<Document> filterParkingRdd = collRdd.filter(new Function<Document, Boolean>() {
private static final long serialVersionUID = 1L;
@Override
public Boolean call(Document doc) throws Exception {
String testTime = doc.getString(testT);
if (testTime != null) {
return true;
}
return false;
}
});

代码中定义了一个外部变量testT，RDD内部操作使用了这个变量，所以导致未序列化。

2.RDD中没有调用外部定义的变量，仍然报错。

其实第一种情况一般不会发生，因为在这之前，已经发生第二种情况。

解决方案：

在类上实现序列化接口：public class MessageCorrectness implements Serializable