Shuffle过程剖析及MapReduce性能优化
Shuffle过程剖析及性能优化
MapReduce确保每个reducer的输入都按键排序。
Shuffle:系统执行排序的过程—将map输出作为输入传给reducer(如图1、图2)。
图1
图2
如图1、图2所示,从map输出到reduce输入就是shuffle阶段。但实际执行过程远比上图所示复杂。
Shuffle 是指从Map 产生输出开始,包括系统执行排序...
原创
2012-08-17 14:50:06 ·
143 阅读 ·
0 评论