hadoop的Shuffle机制

 

如图mapreduce的shuffle和排序：

Map task：

 

1.每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达到阀值0.8（io.sort.spill.percent）（80M）,一个后台线程把内容写到(spill)磁盘的指定目录（mapred.local.dir）下的新建的一个溢出写文件（这种小文件一旦写满，就会再次新建一个继续写）。

2.写到磁盘前，要partition（分区，如果没有，有一种默认分规则：HashPartitioner

return (key.hashCode() &Integer.MAX_VALUE) % numReduceTasks；

）,sort（对每个分区中的数据按照k2的规则进行排序），就这样会产生很多分区且排序的小文件（容易分区和排序，这些小文件还会按照分区号就行排序）。

如果有combiner，combine排序后数据。

3.等最后记录写完，合并全部溢出写的小文件为一个分区且排序的大文件。合并规则：相同号分区的文件和相同号分区的文件进行合并，（如：1号分区的文件和1号分区的文件进行合并），然后分区中的数据再进行排序，最后把所有分区链接成一个大文件。

注：M调优之处：内存缓存大小可以调整，溢出阈值；

 

 

 

Reduce task：

 

1.Reducer通过Http方式得到输出文件的分区（并不是map把数据发送给reduce的，而是reduce来取的），处理1号分区的reducer只会拿一号分区的文件。

2.yarnChild为分区文件运行Reduce任务。复制阶段把Map输出复制到Reducer的内存或磁盘。一个Map任务完成，Reduce就开始复制输出。

排序阶段合并map输出。然后走Reduce阶段

 

 

问题：reduce如何知道要从哪台机器取得map输出呢？

hadoop 1.x解释 见hadoop权威指南3 p228：

mr的老大：JobTracker    小弟进程名：TaskTracker

棕色椭圆：map  黄色矩形：reduce

 

hadoop2.x解释：

yarn的老大：resourceManager（不知道第一组分区在哪个节点、偏移量范围，因为它不懂MR） 

yarn小弟：NodeManager

红色椭圆：map

黄色椭圆：reduce

启动yarnChild进程（三个yarnChild进程可以在一台或者分别在三台机器上），mrappMaster（分布在执行此mr任务的机器中的其中一个）进程用来监控（RPC协议）属于它任务的yarnChild，map会将映射关系汇报给MRappMaster，reduce向MRappMaster询问，然后得到这种映射关系，就可以去下载了。