Spark RDD中的数据所属类型为什么要序列化?

               Spark中,算子的执行都是在Executor端执行的,其他的操作都在Driver端完成(比如数据的加载),数据要从Driver端发送到Executor端,会发生跨线程或者跨节点的传输,所以要对数据所属类型做序列化操作。

如何判断是否实现了序列化?
               在作业提交之前,会有一段代码:
在这里插入图片描述

val cleanF = sc.clean(f)用于进行闭包检查,之所以叫闭包检查,是因为内部函数访问了外部函数的变量,这是闭包才有的。
继续跟踪上面的代码:
在这里插入图片描述
               可以看到在clean函数中,会传入checkSeriablizable=true的参数,代表检查是否序列化。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值