shuffle机制

HDFS 的三个组成：

shuffle的机制
系统执行排序，将map的输出作为初入传给reduce的过程，他是发生在map之后reduce之前

1. 每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达到阀值0.8（io.sort.spill.percent）,一个后台线程把内容写到(spill)磁盘的指定目录（mapred.local.dir）下的新建的一个溢出写文件。

2. 写磁盘前，要partition,sort。如果有combiner，combine排序后数据。

3. 等最后记录写完，合并全部溢出写文件为一个分区且排序的文件。

4. Reducer通过Http方式得到输出文件的分区。

5. TaskTracker为分区文件运行Reduce任务。复制阶段把Map输出复制到Reducer的内存或磁盘。一个Map任务完成，Reduce就开始复制输出。

6. 排序阶段合并map输出。然后走Reduce阶段。