Map方法之后,Reduce方法之前的数据处理过程称之为Shuffle。
具体Shuffle过程详解:
(1)MapTask收集我们的map()方法输出的kv对,放到内存缓冲区中
(2)从内存缓冲区不断溢出本地磁盘文件,可能会溢出多个文件
(3)多个溢出文件会被合并成大的溢出文件
(4)在溢出过程及合并的过程中,都要调用Partitioner进行分区和针对key进行排序
(5)ReduceTask根据自己的分区号,去各个MapTask机器上取相应的结果分区数据
(6)ReduceTask会取到同一个分区的来自不同MapTask的结果文件,ReduceTask会将这些文件再进行合并(归并排序)
(7)合并成大文件后,Shuffle的过程就结束了,后面进入ReduceTask的逻辑运算过程(从文件中取出一个一个的键值对Group,调用用户自定义的reduce()方法)
注意:shuffle中的缓冲区大小会影响到MapReduce程序的执行效率,原则上说,缓冲区越大磁盘io的次数越少,执行速度就越快。
缓冲区的大小可以通过参数调整,参数:io.sort.mb默然100M
优化
1.Map阶段
(1)增大环形缓冲区大小,有100M扩大到200M
(2)增大环形缓冲区溢写的比例,由80%扩大到90%
(3)减少对溢写文件的merge
Shuffle机制及优化
最新推荐文章于 2024-04-15 16:08:36 发布
![](https://img-home.csdnimg.cn/images/20240611030827.png)