Shuffle过程指的是MapTask的map方法之后,ReduceTask的reduce方法之前的数据处理过程,Shuffle过程是MR中最关键的一个流程;
Shuffle过程包括Collect阶段,Spill阶段,两次Merge阶段,Copy阶段,Merge阶段以及Sort阶段,每阶段过程如下:
Shuffle过程指的是MapTask的map方法之后,ReduceTask的reduce方法之前的数据处理过程,Shuffle过程是MR中最关键的一个流程;
Shuffle过程包括Collect阶段,Spill阶段,两次Merge阶段,Copy阶段,Merge阶段以及Sort阶段,每阶段过程如下: