序列化问题产生背景
在写Spark的应用时,经常会碰到序列化的问题。例如,在Driver端的程序中创建了一个对象,而在各个Executor中会用到这个对象 ——
由于Driver端代码与Executor端的代码运行在不同的JVM中,甚至在不同的节点上,因此必然要有相应的序列化机制来支撑数据实例在不同的JVM或者节点之间的传输。
一般来说这个问题的出现都是在map或者filter等算子中使用了外部的变量或者方法,但是这个变量或者方法本身不支持序列化,所以依然会导致整个类序列化时出现问题,最终导致出现task未序列化的问题。
问题描述及解决
报错信息如下:
从报错信息中我们可以很明显的看出这是由于sparkcontext不能被序列化而产生的问题。结合我自己的代码解释一下:这里是由于我在map方法中调用了外部的一个方法,而这个外部方法所在的类中有一个sparkcontext的实例,而sparkcontext本身是不支持被序列化的,由此引发的这个错误。下面解释一下为什么sparkcontext不能被序列化:
一般序列化的作用是为了传输,但是sparkcontext只在driver端运行,没有保存或是传输的场景。
通过我在网上查找资料,了解到spark官方也在官方文档中说明:不允许一个application同时存在一个以上的avtive SparkContext实例。
那么既然问题已经找到