MapReduce的核心--Shuffle

这篇来说说shuffle的流程.

map端

首先存在一个环形缓冲区,所有map处理完毕的KV对就输出到这里.体现在源码中就是:

public class MapTask.MapOutputBuffer
    byte[] kvbuffer;

 一会再说说这个kvbuffer,先来说说流程.

首先map端的输出依次存储至kvbuffer,kvbuffer分为两部分,一部分存储kv相关的元数据(大小16字节),一部分存储kv对(大小不固定),两者之间有分界线.当kvbuffer占用率达到80%之后(kvbuffer默认100MB,80%也就是80MB),就开始进行分区操作:默认情况下按照所设定的reduce数量,通过哈希值与reduce数做取余运算,具体算法如下:

public class HashPartitioner<K2, V2> implements Partitioner<K2, V2> {
  public int getPartition(K2 key, V2 value, int numReduceTasks) {
    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
  }
}

取余之后的余数一定是小于等于reduce数的,于是就按0到最后一个分区开始排序,排序不是直接操作kv对,而是通过移动kv对的元数据进行操作;分区完毕之后,再按key排序.此时元数据已经是按照分区与key排序完成之后的顺序.

这两步操作完成之后,就启动溢写线程,通过kv对元数据的信息找到它的kv对,按照元数据的排序后的顺序写入磁盘.写入结束后,就生成了一个溢写文件.作业可能不止一个map,每个map都会进行这样的操作.

在溢写过程中,map还在产生新数据,当再次达到80%之后,分区→排序→溢写,每次都产生一个新的溢写文件,直到所有map的数据完全处理完毕,就开启下一步.但是如果溢写过程中kvbuffer被占满,就会阻塞map任务,直到本次溢写完成.

在任务完成之前,同时进行如下操作:将多个溢写文件中相同分区的部分合并起来,合并成一个大文件,文件中首先是按分区排序,分区中按key进行排序.这时map端shuffle结束,进入reduce端shuffle.

reduce端

有map任务完成之后,reduce就会获取map的地址.找到文件之后,将属于自己的分区拉取过来,优先存储在内存中,当内存中装不下时,就写入至磁盘.全部拉取完毕后,启动归并排序过程,把拉取过来的文件合并成一个,输出至reduce.如果内存中完全能容纳的下整个文件,就不写入至磁盘,直接在内存中将数据输出至reduce.

环形缓冲区

本质上是一个字节数组.默认情况下大小是100MB,和到达80%开始溢写.

其中存在一个分界点,用来隔离KV数据区域与元数据区域.两者从分界点开始,背靠背增长,一个元数据对应一个KV对.元数据由四部分组成,每个4字节(32位),一共16字节.

    private static final int VALSTART = 0;         // value起始下标
    private static final int KEYSTART = 1;         // key起始下标
    private static final int PARTITION = 2;        // 分区号
    private static final int VALLEN = 3;           // value的长度

KV对进入缓冲区后即不移动,一切排序都是对元数据的操作:排序的时候只是移动元数据的位置,毕竟操作固定的16字节数据比不固定的数据简单很多.

占用达到80%后就启动溢写,通过元数据的四个数据获取KV对的信息,并写入至磁盘.

溢写过程中map端还在输出数据,此时原来的分界点已经无效了,会重新获取另一个分界点,新的分界点在KV数据一侧,然后移动元数据区域(图中未体现出来),以4字节为单位移动,最终距离元数据区域0~4字节.