MapReduce执行流程

附“天龙八部”绘制流程图：

绘制工具：wps流程图

MapTask 工作机制

（1） Read 阶段： Map Task 通过用户编写的 RecordReader ，从输入 InputSplit 中解析出一个个

key/value 。

（2） Map 阶段：该节点主要是将解析出的 key/value 交给用户编写 map() 函数处理，并产生一系列新的

key/value 。

（3） Collect 收集阶段：在用户编写 map() 函数中，当数据处理完成后，一般会调用

OutputCollector.collect() 输出结

果。在该函数内部，它会将生成的 key/value 分区（调用 Partitioner ），并写入一个环形内存缓冲区

中。

（4） Spill 阶段：即 “ 溢写 ” ，当环形缓冲区满后， MapReduce 会将数据写到本地磁盘上，生成一个临时

文件。需要

注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地排序，并在必要时对数据进行合并、压

缩等操作。

（5） Combine 阶段：当所有数据处理完成后， MapTask 对所有临时文件进行一次合并，以确保最终只 会生成一个 数据文件。 当所有数据处理完后，MapTask 会将所有临时文件合并成一个大文件，并保存到文件 output/fifile.out 中，同时生成 相应的索引文件output/fifile.out.index 。 在进行文件合并过程中，MapTask 以分区为单位进行合并。对于某个分区，它将采用多轮递归合并的方 式。每轮合并io.sort.factor （默认 100 ）个文件，并将产生的文件重新加入待合并列表中，对文件排序 后，重复以上过程，直到最终得到一个大文件。让每个MapTask 最终只生成一个数据文件，可避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。

 ReduceTask 工作机制

（1） Copy 阶段： ReduceTask 从各个 MapTask 上远程拷贝一片数据，并针对某一片数据，如果其大小

超过一定阈值，则写到磁盘上，否则直接放到内存中。

（2） Merge 阶段：在远程拷贝数据的同时， ReduceTask 启动了两个后台线程对内存和磁盘上的文件进

行合并，以防止内存使用过多或磁盘上文件过多。

（3） Sort 阶段：按照 MapReduce 语义，用户编写 reduce() 函数输入数据是按 key 进行聚集的一组数

据。为了将 key 相同的数据聚在一起， Hadoop 采用了基于排序的策略。由于各个 MapTask 已经实现对自己的处理结果

进行了局部

排序，因此， ReduceTask 只需对所有数据进行一次归并排序即可

（4） Reduce 阶段： reduce() 函数将计算结果写到 HDFS 上。