MR源码学习（一）

首先说一下MR的执行过程，再按照执行顺序阅读源码。

1.map阶段：

1.1读取文件内容，把每一行解析成一个<k1,v1>键值对。默认的key是每一行文本的偏移量，value是每一行的内容。

1.2自定义map函数，对<k1,v1>进行处理，转换成<k2,v2>输出。其中<k2,v2>的数量与<k1,v1>的数量没有关系。

1.3对输出的<k2,v2>进行分区。

1.4对不同分区的数据，按照key进行排序，分组。

1.5（可选）对数据进行规约。

2.reduce阶段：

2.1（shuffle）对所有的map tasks的输出，按照不同的分区，通过http协议copy到不同的reduce节点。

2.2对map tasks的输出进行排序，合并。自定义reduce函数，把<k2,v2s>转换成<k3,v3>输出。

2.3把reduce的输出保存到文件中。

 

1.1通过job.setInputFormatClass()方法指定输入格式，默认的是TextInputFormat类。根据继承关系，找到父类InputFormat，它是一个抽象类。

这里可以看到InputFormat为MR作业描述了输入规范，MR框架依赖InputFormat做3件事情：1)验证输入规范；2)把输入文件逻辑分割成InputSplit，每一个InputSplit分配给一个独立的map task；3)把RecordReader提供给Mapper处理，其中RecordReader的实现类用来从来InputSplit中收集记录。

InputFormat中主要有两个方法:getSplits()和createRecordReader()。

其中getSplits()方法做的就是上面说的第二件事情，将所有的输入文件逻辑划分成InputSplit。一个inputSplit对应一个map进程。注意逻辑分割要与物理分割区分开来，这里的逻辑分割用一个三元组表示(path,start,offset)。根据继承关系，在InputFormat的子类FileInputFormat中找到该方法的具体实现。

<span style="font-size:14px;">/** 
   * Generate the list of files and make them into FileSplits.
   * @param job the job context
   * @throws IOException
   */
  public List<InputSplit> getSplits(JobContext job) throws IOException {
    Stopwatch sw = new Stopwatch().start();
    long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
    long maxSize = getMaxSplitSize(job);

    // generate splits
    List<InputSplit> splits = new ArrayList<InputSplit>();
    List<FileStatus> files = listStatus(job);
    for (FileStatus file: files) {
      Path path = file.getPath();
      long length = file.getLen();
      if (length != 0) {
        BlockLocation[] blkLocations;
        if (file instanceof LocatedFileStatus) {
          blkLocations = ((LocatedFileStatus) file).getBlockLocations();
        } else {
          FileSystem fs = path.getFileSystem(job.getConfiguration());
          blkLocations = fs.getFileBlockLocations(file, 0, length);
        }
        if (isSplitable(job, path)) {
          long blockSize = file.getBlockSize();
          long splitSize = computeSplitSize(blockSize, minSize, maxSize);

          long bytesRemaining = length;
          while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
            int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
            splits.add(makeSplit(path, length-bytesRemaining, splitSize,
                        blkLocations[blkIndex].getHosts(),
                        blkLocations[blkIndex].getCachedHosts()));
            bytesRemaining -= splitSize;
          }

          if (bytesRemaining != 0) {
            int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
            splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining,
                       blkLocations[blkIndex].getHosts(),
                       blkLocations[blkIndex].getCachedHosts()));
          }
        } else { // not splitable
          splits.add(makeSplit(path, 0, length, blkLocations[0].getHosts(),
                      blkLocations[0].getCachedHosts()));
        }
      } else { 
        //Create empty hosts array for zero length files
        splits.add(makeSplit(path, 0, length, new String[0]));
      }
    }
    // Save the number of input files for metrics/loadgen
    job.getConfiguration().setLong(NUM_INPUT_FILES, files.size());
    sw.stop();
    if (LOG.isDebugEnabled()) {
      LOG.debug("Total # of splits generated by getSplits: " + splits.size()
          + ", TimeTaken: " + sw.elapsedMillis());
    }
    return splits;
  }</span>

方法一开始获得minSize和maxSize，这两个参数都可以在配置文件中设置，其中minSize在mapred-default.xml中的默认值是0，但是程序规定minSize不能小于1，而maxSize需要自己在mapred-site.xml中自己配置。该方法返回一个InputSplit集合，所以着重关注splits.add()方法。这里的InputSplit是FileSplit，FileSplit封装了之前逻辑分割的三元组信息和存储block块的节点列表。遍历输入文件，如果文件内容为空，仍然会创建一个FileSplit，不过是一个长度为0，空节点数组的FileSplit。判断文件是否可分，有些压缩文件不可分，这里文件是否可分的判断是在TextInputFormat中实现的。如果文件不可分，则只会产生一个FileSplit。如果文件可分，则获得blockSize，默认是128M，通过max(minSize,min(maxSize,blokcSize))计算splitSize，所以默认splitSize也是128M。接下来就是按照splitSize遍历文件，对应创建一个个FileSplit。这里也提一下，hadoop为什么不适合小文件。因为一个文件会产生至少一个inputSplit，而一个inputSplit会产生一个map任务进程，如果有很多的小文件，就会产生很多的map任务进程。