mapreduce 原理

mapreduce的shuffle机制

3.1.1 概述：

1. mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；
2. shuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存）；
3. 具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排序；

 

3.1.2 主要流程：

Shuffle缓存流程：