大数据知识(六)：Hadoop基础MapReduce全流程解析

    前几节中，我们已经了解了MapTask并行度机制、ReduceTask并行机制、Yarn运行流程以及Partitioner和Combiner的原理，现在我们结合这几节综合讲解全流程。

    1.启动任务之后，首先运行的是MapTask任务，这里会使用InputFormat组件进行数据的读取，InputFormat的默认实现类是TextInputFormat，该类使用RecordRead对于分片后的文件进行一行一行的读取，然后再map()方法中进行逻辑业务处理，使用OutPutCollector进行输出。

    2.在使用OutOutCollector组件进行处理中，会使用环形缓冲区，环形缓冲区默认大小为100MB，80%是数据区，20%用于数据的排序，首先进行Partition分区，然后进行排序，这里使用的排序算法主要是快速排序，利用key的compareTo()方法内部实现进行比较排序。

    3.在数据缓冲区数据占用满以后，会被溢出到缓冲文件中，这里如果有Combiner组件，会根据具有相同的key进行相应的合并操作。

    4.在每一次溢出后，由于缓存文件比较小，会进行多次合并，这里使用的算法是归并排序，然后mapTask任务完成。

    5.在启动Reduce任务之后，不同的ReduceTask会根据自己的分区号在不同的机器上拉去属于自己分区的数据，再次将这些文件进行合并，使用的算法依旧是归并排序，这里注意，如果使用GroupingComparaor组件，对于相同的Key，获取的是第一个key，然后将value组合成一个Itreable的可迭代集合，然后进程业务逻辑处理。

    6.ReduceTask中，会调用OutPutFormat组件进行输出，默认的实现类是TextOutPutFormat，然后调用RecordWriter进行文件写入。