6）Hadoop之MapReduce（MapTask、ReduceTask工作机制）

• MapTask工作机制：
  

  • Read阶段：
    MapTask通过用户编写的RecorderReader，从输入的InputSplit中解析出一个个的key/vale;
  • Map阶段：
    该阶段主要是将解析出的key/value交给用户编写的map()方法处理，并产生一系列新的key/value;
  • Collect收集阶段：
    结束map()方法中的数据处理后，一般会调用OutputCollector.collect()方法输出结果，在该方法内部，会将生成的key/value分区（调用Partitioner），并写入一个环形缓冲区；
  • Spill溢写阶段：
    当环形缓冲区数据满了之后，会将数据溢写到磁盘生成一个临时文件，需要注意的是：在溢写之前，会对数据进行一次本地排序，必要时会对数据进行合并或压缩等操作；
    溢写阶段详情：
    ①利用快速排序算法对缓存区的数据进行排序，排序的方式是：先按照分区编号Partition进行排序，然后按照key进行排序。经过排序之后数据已分区为单位聚集在一起，且同一分区的数据按照key有序。
    ②按照分区编号由小到大依次将数据写入任务工作目录下的临时文件output/spillN.out(N表示当溢写的次数)，如果用户设置了Combiner，则写入磁盘之前将每个分区的数据进行一次聚集操作。
    ③将分区数据元信息写到内存索引数据结构SpillRecord中，其中每个元数据的信息包括数据在临时文件中的偏移量，压缩前数据大小和压缩后数据大小，若当前内存索引大小超过1MB，则将索引写到内存文件output/spillN.out.index中
  • Combiner阶段：
    ①当所有数据都处理完成后，MapTask会以分区为单位对所有临时文件进行一次合并（对于某个分区，它将采用多轮递归合并的方式。每轮合并io.sort.factor（默认10）个文件，并将产生的文件重新加入待合并列表中，对文件排序后，重复以上过程，直到最终得到一个大文件），确保最终只会生成一个数据文件。
    ②这样可以避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。

• ReduceTask工作机制：
  

  • Copy阶段：
    ReduceTask从MapTask上远程拷贝一片数据，并且针对某一片数据，如果其大小超过一定阈值，则写到磁盘，否则直接存储在内存。
  • Merge合并阶段：
    ReduceTask远程拷贝的同时，还启动两个后台线程对内存和磁盘上的文件进行合并，防止内存占用过多或磁盘文件数量过多。
  • Sort阶段：
    按照MapReduce的语义，用户编写reduce()方法输入数据是按key进行聚集的义一组数据，为了将key系统的数据聚集在一起，Hadoop采用了基于排序的策略。由于各个MapTask已经实现了对自己处理的结果的局部排序，因此，ReduceTask只需对所有的数据进行一次归并排序即可。
  • Reduce阶段：
    reduce()方法将计算结果写到HDFS上。

• 设置ReduceTask的并行度（个数）:
  ReduceTask的并行度同样影响整个Job的执行并发度和执行效率，但与MapTask的并发数由切片数决定不同，ReduceTask数量的决定是可以直接手动设置：job.setNumReduceTasks(4);

• 注意事项：
  ①若设置ReduceTask为0，则表示没有Reduce阶段，输出文件个数和Map的个数一样。
  ②ReduceTask的值默认为1，即输出文件为一个。
  ③如果数据分布不均匀，就有可能在Reduce阶段产生数据倾斜。
  ④具体多少个ReduceTask，还需要根据集群的性能而定。
  ⑤如果分区数不是1，但ReduceTask的数量为1，则不执行分区过程，因为在MapTask的源码中，执行分区的前提是先判断ReduceNum个数是否大于1，不大于1肯定不执行。