Mapreduce运行流程解析

1.Map端

1首先将一个待处理文本进行分片，至于如何进行分片，以及分片规划，都在我的博客Mapreduce本地提交debug源码剖析

2客户端将切片信息提交至Yarn，ApplicationMaster会进行数据切分，默认将每个split划分为一个maptask。

3通过FIleInputFormat 获取RecordReader，(实现类默认是TextInputFormat)进行对数据逻辑处理，每个MapTask会调用一个map方法，将本MapTask范围内的数据处理之后形成<K,V>

4.将<K,V>数据经过outCollecter收集器向环形缓冲区写入。

5.在环形缓冲区内，但达到阀值(默认100M) 80%，会进行溢出至磁盘。

6.溢出后的数据进行分区(默认:将数据的hashcode排序),排序（快速排序）

7.在此，可以进行一次优化，进行本地的reduce，即 combiner合并数据

8.之后进行一次归并排序。

reduce端

1.当map端完成之后，applicationMaster会启动相应的reducetask，并说明每个reducetask的数据处理范围。
2.将数据下载值reducertask的本地磁盘，并进行合并文件以及归并排序
3.在此亦可以进行分组，之后通过reduce方进行逻辑处理。
4.通过OutputFormat(默认实现类是TextOutputFormat)写入hdfs.