spark troubleshooting之解决序列化导致的报错

用client模式去提交spark作业，观察本地打印出来的log。如果出现了类似Serializable等等字眼，报错的log，那么就遇到了序列化问题导致的报错，

这种报错是比较简单的，很好处理

序列化报错要注意三个点

1. 你的算子函数里面，如果使用到了外部的自定义类型的变量，那么此时，就要求你的自定义类型，必须是可序列化的。

Teacher teacher = new Teacher("leo")

studentRDD.foreache(new VoidFunction()){

     public void call(Row row) throws Exception{

          String teacherName = teacher.getName();

      }

}

这是时候Teacher是需要可序列化的

2. 如果要将自定义的类型作为RDD的元素类型，那么自定义的类型也必须是可以序列化的。

JavaPairRDD<Integer,Teacher> teacher

这种情况下，我们也必须是可以序列化的

3.不能在上述俩种情况下，去使用一些第三方的，不支持序列化的类型

Connection conn = 

connectino是不支持序列化的