由于Spark程序中的map、filter等算子内部引用了类成员函数或变量导致该类所有成员都需要支持序列化,又由于该类某些成员变量不支持序列化,最终引发Task无法序列化问题。相反地,对类中那些不支持序列化问题的成员变量标注后,使得整个类能够正常序列化,最终消除Task未序列化问题。
public class SparkRDDS {
SparkConf conf;//定义配置信息对象
JavaSparkContext jsc ;//声明spark上下文
@Before
public void start(){
conf = new SparkConf().setMaster("local[1]").setAppName("sparkRDDs");
jsc = new JavaSparkContext(conf);
}
@After
public void end(){
jsc.close();
}
/**
* map算子
* 对每一个元素执行操作
*/
@Test
public void mapRDDTest(){
//准备数据
List<Integer> list = Arrays.asList(1,2,3,4,5);
//数据并行化
JavaRDD<Integer> dataRDD = jsc.parallelize(list)