MapReduce详细工作流程

14个步骤：
1、客户端在执行submit方法之前，先获取待读取文件的信息；
2、在将job提交给Yarn时，会带着三个信息：job split（文件切片信息）；提交的jar包；job的xml（包括application id）；
3、Yarn根据文件的切片信息，计算将要启动的map task的数量，然后启动map task；
4、读取数据，传到mapper：调用inputformat方法，读取HDFS上的文件;
5、mapper做逻辑的处理；
6、将数据发送到环形缓冲区，环形缓冲区默认大小为100M，达到80%阈值将会进行溢写，在溢写之前会做排序；
7、排序：按照key进行字典序排序，排序手段为快排；
8、产生大量溢写文件，溢写文件达到10个，再次调用merge方法，使用归并排序，形成一个大文件；
9、Combiner局部聚合；
10、Yarn会启动相应数量的reduce task，到map端拉取数据，reduce会发送拉取线程，到map端拉取数据，拉到的数据会先加载到内存，如果内存不够，则写到磁盘，等所有数据拉取完之后，再进行归并排序。如果只有一个reduce，这个reduce就是全局排序。
12、归并后的文件会进行分组操作，然后数据以组为单位发送至reduce方法，reduce方法做逻辑判断后，调用outputformat，recordwrite方法将数据以kv形式写到HDFS上。

注意：
1、Yarn启动map task的数量取决于：
1）文件的大小：若设置块大小128M 文件200M 2个map task；
2）一个目录下的一个文件，会启动一个map task；