MapReduce的Shuffle过程

  ***

mapreduce的工作流程

---

---

Shuffle机制：

1. Shuffle机制：
2. Map 方法之后Reduce方法之前这段处理过程叫Shuffle
3. Map方法之后，数据首先进入分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；唤醒缓冲区的默认大小为100M，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key的索引进行字典顺序排序，排序的手段快排；溢写产生大量溢写文件，需要对溢写文件进行归并排序；对溢写文件也可以进行Combiner操作，前提是汇总操作，求平均值不行，最后讲文件按照分区存储到磁盘，等待Reduce端拉取。
4. 每个Reduce拉取Map端对应的分区数据，拉取数据后先存储到内存中，内存不够了，再存储到磁盘。拉取完所有的数据后，采取归并排序将内存和磁盘中的数据进行排序。在进入Reduce方法前，可以对数据进行分组操作。

---