InputFormat的个人理解

概述

InputFormat是MapReduce中的第一个重要阶段，它主要做了两部分工作，第一步过滤inputPath, 生成inputSplit，写入文件.staging/job.split，每个inputsplit对应一个map。第二步，构建recordReader, 生成

InputFormat

Usage：

• 验证job的inputPath里面的文件。
• 划分输入文件，生成逻辑的inputSplits，每一个inputSplit作为一个map的处理数据。
• 提供一个recorderReader给Map使用。

RecordReader

Method：

• abstract void initialize(InputSplit split, TaskAttemptContext context)这个方法只执行一次，在mapTask的初始化的时候调用。
• abstract boolean next(K key, V value) 每调用一次，生成一组(key, value)键值对，交给map处理。

readLine对跨block两种处理方法

• 上一个block读到小于end,下一个block读取时，首先回退一个字符，读一行丢掉。参考：CombineRecordReader的实现。
• 上一个block多读一个字符，读到小于等于end,读一下block时不需要特殊处理，直接读。参考：LineRecordReader的实现

InputFormat的使用

• MapReduce中的配置：Job.setInputFormatClass()
• Job初始化的获取：MapTask中的runNewMapper方法会获取Job中set的InputFormat的方法，然后通过inputformat获取recordreader。
• MapReduce运行时的工作：Context会调用MapContext，再调用MapContextImpl.getCurrentKey(),再调用RecordReader.getCurrentKey()