第一步:客户端提交任务对文件进行分块,默认block是128M
第二步:客户端把要进行map的数据发送给yarn,yarn获取判断需要多少MapTask()
第三步:MapTask收集我们map()方法输出的kv,放到环形内存缓冲区
第四步:在环形内存缓冲区在达到默认80%的时候就会开始往本地磁盘中不断溢出,可能会溢出多个文件
第五步:过个溢出文件会被合并成大的溢出文件
第六步:在溢出过程及合并的过程中,都要调用Partition进行分区和针对key进行排序
第七步:ReduceTask根据自己的分区号,去各个MapTask机器上相应的结果分区数据
第八步:ReduceTask取到用一个分区的来自不同MapTask的结果文件,ReduceTask会将这些文件再进行合并(归并排序)
第九步:合并成大文件后,Shuffle的过程就结束了,后面就要进行ReduceTask的逻辑运算过程(从文件中取出一个一个的键值对Group,调用用户自定义的reduce()方法)