MapReducer浅析

• map阶段

1. 使用job.setInputFormatClass(TextInputFormat)做为输入格式。注意输出应该符合自定义Map中定义的输出。

2. 进入Mapper的map()方法，生成一个List。

3. 在map阶段的最后，会先调用job.setPartitionerClass()对这个List进行分区，每个分区映射到一个reducer。

4. 每个分区内又调用job.setSortComparatorClass()设置的key比较函数类排序(如果没有通过job.setSortComparatorClass()设置key比较函数类，则使用key的实现的compareTo方法)。可以看到，这是一个二次排序。

5. 如果设置了Combiner（job.setCombinerClass）对output进行一次合并，从而减少对reduce的输出流量和预处理reduce的input数据。但不一定会执行，对于Combiner执行时机参考Reference[4]。

【说明】以上步骤省略了collect阶段、cache阶段等细节，更详细步骤参考http://flyingdutchman.iteye.com/blog/1878775

• reduce阶段

1. shuffle阶段

reducer开始fetch所有映射到这个reducer的map输出。

2.1 sort阶段

再次调用job.setSortComparatorClass()设置的key比较函数类对所有数据对排序(因为一个reducer接受多个mappers，需要重新排序)。

2.2 secondary sort阶段

然后开始构造一个key对应的value迭代器。这时就要用到分组，使用jobjob.setGroupingComparatorCla ss()设置的分组函数类。只要这个比较器比较的两个key相同，他们就属于同一个组，它们的value放在一个value迭代器，而这个迭代器的key使用属于同一个组的所有key的第一个key。

3.reduce阶段

最后就是进入Reducer的reduce()方法，reduce()方法的输入是所有的（key和它的value迭代器）。同样注意输入与输出的类型必须与自定义的

Reducer中声明的一致。

  Maptask 整体执行流程  
 
         如上图示，MapTask的整个处理流程分五个阶段： 
          ●read阶段： 通过RecordReader从InputSplit分片中将数据解析成一个个key/value。 
          ●map阶段： 将由RecordReader解析出的key/value交给map()方法处理，并生成一个个新的key/value。 
          ●collect阶段： 将map()中新生成key/value由OutpCollector.collect()写入内存中的环形数据缓冲区。 
          ●spill阶段： 当环形缓冲区达到一定阀值后，会将数据写到本地磁盘上，生成一个spill文件。在写文件之前，会先将数据进行一次本地排序，必要的时候(按配置要求)还会对数据进行压缩。 
          ●combine阶段： 当所有数据处理完后，将所有的临时的spill文件进行一次合并，最终之生成一个数据文件。