请求读取指定的分片数据split
去MapOutputTrackerMaster拉取该shuffleid的分片地址信息
通过netty到相关的地址拉取指定Partition的数据
去拉取回来的数据执行聚合函数操作
去执行后的iterator数据执行 keyorder排序数据,然后最后返回
spark jion ,shuffle经历啦哪些过程
最新推荐文章于 2023-07-20 22:39:58 发布
请求读取指定的分片数据split
去MapOutputTrackerMaster拉取该shuffleid的分片地址信息
通过netty到相关的地址拉取指定Partition的数据
去拉取回来的数据执行聚合函数操作
去执行后的iterator数据执行 keyorder排序数据,然后最后返回