MapReduce工作流程

一、MapTask详细工作流程

1、Read阶段：客户端通过数据信息形成任务分配的规划，然后将切片信息job.split、jar包、配置文件job.xml上传到yarn，并启动MRAppMaster计算需要启动MapTask的数量。MapTask通过用户编写的RecordReader，将文件解析为一个个的key/value。
2、Map阶段：解析出的key/value会交给用户编写的map()函数处理，并产生一系列新的key/value。
3、Collect阶段：数据通过map()函数处理完成后，会调用OutputCollector.collect()输出结果，并写入一个环形缓冲区中。
4、Spill阶段：溢写阶段，当环形缓冲区满后，MapReduce会将数据写到本地磁盘上，生成一个临时文件。
5、Combine阶段（可选）：如果 设置了Combiner，写入文件之前，会对每个分区的数据进行一次聚集操作。

二、ReduceTask详细工作流程

1、copy阶段：ReduceTask从各个MapTask上得到数据（一个ReduceTask会得到不同MapTask中同一个分区的数据）
2、merge阶段：将从Map