Hadoop7days-4 shuffle

Shuffle是MapReduce的心脏。

如上图看到的，数据的流程是Map--->shuffle--->Reduce.但是，shuffle的具体过程是怎样的呢？

MAP端：

    Map的输出并不是简单的写到磁盘，等待Reduce的获取。每一个map都有一个环形内存缓冲区，默认大小为100M，当其中的缓冲内容达到阈值（80%），后台线程便把其中的内容溢写到磁盘（在写磁盘过程中，map输出继续写到该缓冲区，但是如果缓冲区已满，则该Map会被阻塞直到缓冲区内容完全写完到磁盘）。

    在写入到磁盘之前，线程会根据该map输出的数据最终要传送到的reducer将数据进行分区，在每个分区中，数据会按键值进行排序，如果有一个combiner,它会在排序后的输出上运行。

    每个map的环形内存缓冲区达到阈值后，就会创建一个溢出写文件， 因此一个map执行完，可能会产生好几个该文件，（即好几个100M的文件），在任务完成之前，这好几个100M文件会被合并成一个 已分区且已排序 的文件。

Reduce端：

    reducer通过HTTP的方式得到上面输出文件的分区，

如上图所示，褐色球代表mapper,红色球代表reducer，其中的某个mapper完成后，其输出文件到MrAppMaster，且通知MrAppMaster。Reducer并不会等到所有的mapper完成后再下载maper的输出文件，而是通过心跳机制，只要有mapper输出文件就开始下载。reducer存在失败的风险，因此MrAppMaster并不会reducer一下载就删除该map输出文件，而是等到成功完成reducer后才开始删除。之后会进行reducer端的合并步骤。