Map Reduce中的Shuffle大致流程

在mapreduce中，shuffle指把map输出转化为reduce的输入的过程

shuffle官方流程图，其中黑线部分为shuffle：

shuffle运行步骤：
1.map输出后会先经过一个圆形内存缓冲区，用于存储输出的键值对
（默认大小100MB，mapreduce.task.io.sort.mb调整），一旦达到阈值（默认0.8，mapreduce.task.io.sort.percent调整）一个后台线程把内容写到（spill）磁盘指定目录下（mapred.local.dir）的新建的一个溢写文件
2.执行溢出写（发生在溢写之前），进行分区（Partition），排序（Sort），合并（Combine）
3.fetch阶段，将对应分区的数据copy到相应的reduce中（默认线程数为5，mapreduce.reduce.shuffle.parallelcopies调整）
4.merge阶段，根据fetch来的数据量排序后进行循环合并

5.reduce输出output

对文章感兴趣？试试关注我的公众号