Spark:序列化
1、为什么要序列化因为在Spark程序中,算子相关的操作在Excutor上执行,算子之外的代码在Driver端执行,在执行有些算子的时候,需要只用到Driver里面定义的数据,这就涉及到了跨进程或着跨节点之间的通讯,所以要求传递给Excutor中的数组所属的类型必须实现Serializable接口2、如何判断是否实现了序列化接口在作业job提交之前,其中有一行代码 :val cleanF = sc.clean(f),用于进行闭包检查,之所以叫闭包检查,是因为在当前函数的内部访问了外部的函数变量,属
复制链接