mapreduce MapTask,ReduceTask,shuffle机制(含Comparator,Partition)

mapreduce MapTask,ReduceTask,shuffle机制(含Comparator,Partition)

MapTask机制

Read阶段：

MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。

Map阶段：

该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。

Collect收集阶段：

在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的key/value和分区号（调用Partitioner），写入一个环形内存缓冲区中。

Spill阶段：

即“溢写”，当环形缓冲区满后，MapReduce会将数据写到本地磁盘上，生成一个临时文件。需要注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地排序，并在必要时对数据进行合并、压缩等操作。

​ 溢写阶段详情：

1. ​ 利用快速排序算法对缓存区内的数据进行排序，排序方式是，先按照分区编号Partition进行排序，然后按照key进行排序。这样，经过排序后，数据以分区为单位聚集在一起，且同一分区内所有数据按照key有序。
2. ​ 按照分区编号由小到大依次将每个分区中的数据写入任务工作目录下的临时文件output/spillN.out（N表示当前溢写次数）中。如果用户设置了Combiner，则写入文件之前，对每个分区中的数据进行一次聚集操作。
3. ​ 将分区数据的元信息写到内存索引数据结构SpillRecord中，其中每个分区的元信息包括在临时文件中的偏移量、压缩前数据大小和压缩后数据大小。如果当前内存索引大小超过1MB，则将内存索引写到文件output/spillN.out.index中。

Combine阶段：

当所有数据处理完后，MapTask会将所有临时文件合并成一个大文件，并保存到文件output/file.out中，同时生成相应的索引文件output/file.out.index。

在进行文件合并过程中，MapTask以分区为单位进行合并。对于某个分区，它将采用多轮递归合并的方式。每轮合并io.sort.factor（默认10）个文件，并将产生的文件重新加入待合并列表中，对文件排序后，重复以上过程，直到最终得到一个大文件。

让每个MapTask最终只生成一个数据文件，可避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。

ReduceTask工作机制

Copy阶段：

ReduceTask从各个MapTask上远程拷贝一片数据（HTTP协议），并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。

Merge阶段：

在远程拷贝数据的同时，ReduceTask启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多。

Sort阶段：

按照MapReduce语义，用户编写reduce()函数输入数据是按key进行聚集的一组数据。为了将key相同的数据聚在一起，Hadoop采用了基于排序的策略。由于各个MapTask已经实现对自己的处理结果进行了局部排序，因此，ReduceTask只需对所有数据进行一次归并排序即可。

GroupingComparator阶段

对reduce输入前的数据记录，根据key进行分组；使得reduce端的输入为(key list<value>)

Reduce阶段：

reduce()函数将计算结果写到HDFS上。

其实reduce阶段和GroupingComparator是一起的，最终是通过同一个迭代器实现分组功能。使用迭代器可以使得在数据环境下，每次读取文件的一部分，最终处理整个文件。

//每次迭代通过nextKeyIsSame字段是否是true决定下一个key是否同组。
//此处的comparator就是设置的分组比较器。
nextKeyIsSame = comparator.compare(currentRawKey.getBytes(), 0, 
                                     currentRawKey.getLength(),
                                     nextKey.getData(),
                                     nextKey.getPosition(),
                                     nextKey.getLength() - nextKey.getPosition()
                                         ) == 0;

shuffle机制

Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。

map输出阶段：

Partition，Spill，sort，Combiner，compress。

reduce输入阶段：

copy，sort，GroupingComparator。

abstract class Partitioner<KEY,VALUE> 分区

Partitioner用于将mapper输出的(key/value)放到特定的分区，通常来说每一个reduce相应的处理一个分区（即reduce数量等于分区数量）。

该类的实现类需要实现getPartition(KEY key, VALUE value, int numPartitions)；该方法返回一个int值，表示该输入的(key/value)对应的分区号。

HashPartitioner

HashPartitioner是Partitioner的具体实现类。当job设置的NumReduceTasks>1时是默认的Partitioner，通过key的hashcode将（key/value）映射到不同的分区。

该类对getPartition(KEY key, VALUE value, int numPartitions)的实现：

public int getPartition(K key, V value,
                        int numReduceTasks) {
  return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
}

注意

当NumReduceTasks<=1时，直接返回下面所示的Partitioner。该Partitioner的**[getPartition](http://hadoop.apache.org/docs/r2.9.1/api/org/apache/hadoop/mapreduce/Partitioner.html#getPartition(KEY, VALUE, int))**(KEY key, VALUE value, int numPartitions)直接返回NumReduceTasks-1。

partitioner = new org.apache.hadoop.mapreduce.Partitioner<K,V>() {
  @Override
  public int getPartition(K key, V value, int numPartitions) {
    return partitions - 1;//partitions=NumReduceTasks
  }
}

分区总结

在实现getPartition(KEY key, VALUE value, int numPartitions)时，需要考虑以下情况。

只有设置的NumReduceTasks>1时，Partitioner的具体实现类(包括自定义的Partitioner)才会起作用，否则就会返回上述代码块中的Partitioner。

以下都是在NumReduceTasks>1的情况下：

1. 如果NumReduceTasks>getPartition(key,value,numReduceTasks)结果数，则会多产生几个空的输出文件part-r-000xx。
2. 如果NumReduceTasks<getPartition(key,value,numReduceTasks),会报异常。

返回的分区号必须从0开始。

Sort和GroupingComparator

interface WritableComparable<T> 通过key排序

WritableComparable继承了接口 Writable和Comparable<T>。

mapreduce中的所有key都需要实现该接口。自定义key需要实现该接口的readFields, write(这两个方法搭配使用，用于将key进行反序列化和序列化)，compareTo(T o)。

compareTo(T o)返回0表示相等，返回1表示大于，返回-1表示小于。在需要排序的地方mapreduce框架将调用key的compareTo方法，比较两key的大小。

WritableComparator 使用比较器排序

WritableComparator是接口RawComparator的实现类。该类的 compare(WritableComparable,WritableComparable)用于比较两个key的大小。

//直接调用WritableComparable#compareTo()方法
public int compare(WritableComparable a, WritableComparable b) {
  return a.compareTo(b);
}

自定义对key的Comparator可以直接继承WritableComparator并重写compare方法；且通过job.setSortComparatorClass(Comparator.class)来设置使用该比较器。

sort排序

sort排序为shuffle过程中，对（key/value）对按key进行排序。

包括将环形缓冲区数据需要溢写到Spill.out文件（默认使用快排），mapper结束时的mergeSort，reduce将copy后来自不同的mapper的同一分区的数据进行mergeSort。

如果设置了job.setSortComparatorClass(Comparator.class)，则会使用设置的Comparator类的compare方法比较key的大小。

如果没有设置job.setSortComparatorClass(Comparator.class)则使用key类型的compareTo()比较key的大小。

GroupingComparator

对reduce输入前的数据记录，根据key进行分组；使得reduce端的输入为(key list<value>)

GroupingComparator实质上是一个writableComparator，通过compare(WritableComparable,WritableComparable)判断key是否相等。

自定义GroupingComparator可以通过重写compare(WritableComparable,WritableComparable)来实现业务需要的分组逻辑，通过job.setGroupingComparatorClass(Comparator.class)设置使用的GroupingComparator。

Combiner合并

本质上是一个Reducer。

Combiner是在每一个MapTask所在的节点运行；对每一个MapTask的输出进行局部的reduce。