MapReduce--------MapReduce 的 Shuffle 机制

1、MapReduce 的 Shuffle 机制

1.1、概述

1、MapReduce 中，mapper 阶段处理的数据如何传递给 reducer 阶段，是 MapReduce 框架中 最关键的一个流程，这个流程就叫 Shuffle

2、Shuffle: 数据混洗 ——（核心机制：数据分区，排序，局部聚合，缓存，拉取，再合并 排序）

3、具体来说：就是将 MapTask 输出的处理结果数据，按照 Partitioner 组件制定的规则分发 给 ReduceTask，并在分发的过程中，对数据按 key 进行了分区和排序

1.2、主要流程

 

Shuffle 是 MapReduce 处理流程中的一个核心过程，它的每一个处理步骤是分散在各个 map task 和 reduce task 节点上完成的，整体来看，分为核心 3 个操作：

1、分区 partition（如果 reduceTask 只有一个或者没有，那么 partition 将不起作用。设置没 设置都相当于没有）

2、Sort 根据 key 排序（MapReduce 编程中的 sort 是一定会做的