MapReduce的Shuffle和Sort阶段详解

最新推荐文章于 2021-03-06 23:02:49 发布

freefish_yzx

最新推荐文章于 2021-03-06 23:02:49 发布

阅读量3.6k

点赞数 1

分类专栏： mapreduce

本文链接：https://blog.csdn.net/freefish_yzx/article/details/77499069

版权

MapReduce的Shuffle过程包括Map端和Reduce端，涉及输入、分区、溢写、合并等步骤。Map端Shuffle有输入、分区、排序与组合（Combine）以及溢写到磁盘的过程，而Reduce端则负责数据的复制与合并。Shuffle的主要目标是减少数据量，降低网络带宽消耗和磁盘IO影响。

摘要由CSDN通过智能技术生成

本文来自：http://blog.csdn.net/DianaCody/article/details/39502917

一、MapReduce 总体架构

整体的Shuffle过程包含以下几个部分：Map端Shuffle、Sort阶段、Reduce端Shuffle。即是说：Shuffle 过程横跨 map 和 reduce 两端，中间包含 sort 阶段，就是数据从 map task 输出到reduce task输入的这段过程。

-----------------------------------------------------------------------------------------------------------------------------

注意：sort、combine 是在 map 端的，combine 是提前的 reduce ，需要自己设置。

combiner 是提前的 reducer ，同样需要用户设置 combiner，combiner 就是根据相同 key 来合并结果的。MapReduce 的术语中，reduce 只指 reduce 端执行从多个 map task 取数据做计算的过程。除 reduce 外，非正式地合并数据只能算做 combine（比如这里 map 端的提前合并 combine）。MapReduce 中将 Combiner 等同于 Reducer。

---------------------------------------------------------------------------------------------------------------------------

官方给的文档中图为：其中分为 map 端 shuffle 和 reduce 端 shuffle ，这是总体的过程图，具体细节图例还需再在 map 和 reduce 两个阶段细分，详细图解见后文。这里先给出总体过程图：