MapReduce的shuffling理解
MapReduce的shuffling理解
1:官方图解
上图主要分为三个阶段:
Map:分割数据 Reduce:聚合数据 重点在Shuffle(面试)
Shuffing包含:{partition spill(sort+combiner) merge}
shuffling具体过程如下:
1.Map端
1**.Input Split分配给Map
2.Map过程进行处理**,Mapper任务会接收输入分片,然后不断的调用map函数,对记录进行处理。处理完毕后,转换为新的<key,value>
原创
2021-11-23 11:15:25 ·
5242 阅读 ·
0 评论