mapreduce完整流程的介绍

流程

简略总述

1：读取文件，解析成为key，value对
2：自定义map逻辑接收key，value，转换成为新的key，value输出；写入环形缓冲区
3：分区：写入环形缓冲区的过程，会给每个key，value加上分区Partition index。（同一分区的数据，将来会被发送到同一个reduce里面去）
4：排序：当缓冲区使用80%，开始溢写文件
先按partition进行排序，相同分区的数据汇聚到一起；
然后，每个分区中的数据，再按key进行排序
5：combiner调优过程，对数据进行map阶段的合并（可以没有这个阶段）
6：将环形缓冲区的数据进行溢写到本地磁盘小文件
7：归并排序，对本地磁盘溢写小文件进行归并排序
8：等待reduceTask启动线程来进行拉取数据
9：reduceTask启动线程，从各map task拉取属于自己分区的数据
10：从mapTask拉取回来的数据继续进行归并排序
11：进行groupingComparator分组操作
12：调用reduce逻辑，写出数据
13：通过outputFormat进行数据输出，写到文件，一个reduceTask对应一个结果文件