1图片来源尚硅谷大数据课程
![](https://i-blog.csdnimg.cn/blog_migrate/d82ea5b2e37f87c1885c56e644fd1065.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c5391976bc8c2bc0d45fb6806ce2d111.png)
流程:
1:MapTask收集从map()方法写出的(k,v)对,由outputCollector收集写入环形缓冲区。
2:环形缓冲区默认大小100M,内存占满80%开始反向,并不断溢写出本地文件,结果可能产生多个溢写文件。
(环形缓冲区内实现快排,溢写出的文件均内部有序,第一次排序,算法:快排)
3:环形缓冲区产生的多个溢写文件,通过Merge实现合并,第二次排序,算法:归并排序
4:多个MapTask产生的多个Merge文件,通过paitition分区号分别进去不同的ReduceTask,进入时通过排序实现多文件合并,第三次排序,算法:归并排序
5:最后从合并的大文件中取出一个个(K,V)键值对的Group。
注:MapTask数量有文件分片数决定。
ReduceTask数量有手动设置。
环形缓冲区越大,磁盘溢写的次数越少(IO次数少),MR执行速度越快。