MapReduce原理分析：自定义输入格式InputFormat

1 问题的提出

MapReduce任务的输入文件一般是存储在HDFS里面。输入的文件格式包括：基于行的日志文件、二进制格式文件等，这些文件单个可能会达到GB甚至更大。那么MapReduce是如何读取这些数据的呢？
当提交MapReduce任务时，驱动程序内会通过FileInputFormat.setInputPaths(job, new Path(inputPath))为任务注入数据，这个路径包含MapReduce任务所需要处理的文件，FileInputFormat会读取这个文件夹内的所有文件（默认不包括子文件夹内的），在客户端完成数据分片(InputSplit)的计算，并将其序列化成Job.split文件提交给集群。

2 原理分析

MapReduce中接口InputFormat专门负责将数据转换成数据分片(InputSplit)，并把数据分片切分成记录（record），抽象类FileInputFormat实现了InputFormat接口，是所有操作文件类型输入类的父类。
InputFormat接口定义了获取数据分片和获取记录读取器的方法，源码如下

public abstract class InputFormat<K, V> {
   
  public abstract List<InputSplit> getSplits(JobContext context) 
  throws IOException, InterruptedException;
  public abstract RecordReader<K,V> createRecordReader(InputSplit split,TaskAttemptContext context) 
  throws    IOException,InterruptedException;
}

方法getSplits定义获取所有数据分片的方法，createRecordReader定义了如何去访问数据分片的方法，RecordReader类是实际用来加载数据并把数据转换为适合Mapper读取的键值对，RecordReader由实现类自己定义。
RecordReader会在输入块上被重复的调用直到整个输入块被处理完毕，每一次调用RecordReader都会调用Mapper的map()方法。
FileInputFormat对数据分片获取和记录读取器获取方法进行了抽象实现，其简要逻辑如下：

（1）获取驱动程序通过FileInputFormat.setInputPaths(job, new Path(inputPath));注册的路径
（2）循环地对路径下的文件进行大小计算，获取到文件的总大小
（3）根据用户配置的blockSize以及驱动程序指定的数据分片的最大分片大小maxSize和最小分片大小minSize计算每个分片的大小
（4）客户端通过调用FileInputFormat的getSplits方法获取到所有的数据分片后将其序列化成Job.split文件提交给JobTracker组件，每个数据分片并不存放实际数据，而是维护了数据分片的路径、起始位置、长度等信息，JobTracker把它存放在Configuration中，Mapper可以从中获取信息。
map.input.file，被map处理的文件的路径
map.input.start，从split的开头偏移的字节量
map.input.length，split的长度

InputFormat常见的接口实现类包括TextInputFormat、KeyValueTextInputFormat、NLineInputFormat、CombineTextInputFormat、SequenceFileInputFormat、DBInputFormat等，其继承关系如图所示。

2.1 TextInputFormat

TextInputFormat是默认的InputFormat。TextInputFormat提供了一个LineRecordReader，这个类的会把输入文件的每一行作为一个新的值，关联到每一行的键则是该行在文件中的字节偏移量。每条记录是一行输入，键是LongWritable类型，存储该行在整个文件中的字节偏移量，值是这行的内容，不包括任何行终止符（换行符和回车符）。

2.2 KeyValueTextInputFormat

每一行均为一条记录，被分隔符分割为key，value。可以通过在驱动类中设置conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR, "");来设定分隔符。默认分隔符是tab（\t）。此时的键是每行排在制表符之前的Text序列。

2.3 NLineInputFormat

如果使用NlineInputFormat，代表每个map进程处理的InputSplit不再按block块去划分，而是按NlineInputFormat指定的行数N来划分。即输入文件的总行数/N=切片数，如果不整除，切片数=商+1。 这里的键和值与TextInputFormat生成的一样。

2.4 CombineTextInputFormat

默认情况下TextInputformat对任务的切片机制是按文件规划切片，不管文件多小，都会是一个单独的数据分片，很多小文件带来2个麻烦：NameNode要维护很多文件的metadata，容易造成内存溢出；每个数据分片都交给一个MapTask进行处理，从而产生很多MapTask，而MapTask的启动、销毁、监控都会带来额外的开销。
大量小文件的优化方法： a.进行数据预处理，将小文件先合并成大文件，再上传到HDFS；b.使用CombineTextInputFormat可以将多个小文件从逻辑上规划到一个切片中，多个小文件就可以交给一个maptask。

2.5 SequenceFileInputFormat

Hadoop实现的高性能二进制格式，可以使用压缩，传输效率极高。

2.6 DBInputFormat

使用JDBC从关系型数据库读取数据的一种输入格式。

2.7 多类型输入MultipleInput

有时数据来源于不同的文件，它们包含的信息相同，但输入格式不同，我们需要用不同的RecordReader来解析。这时可以调用MultipleInputs的静态方法：
static void addInputPath(Job job, Path path, Class<? extends InputFormat> inputFormatClass)
甚至有时候对不同的数据来源需要使用不同的map来处理，方法如下：
static void addInputPath(Job job, Path path, Class<? extends InputFormat> inputFormatClass, Class<? extends Mapper> mapperClass)
注意：主要使用这种方式，不同的map output要有相同的类型，因为它们要被同一个reducer处理，且这些mapper Emit(key,value)的顺序是不可预知的。这时候不能再调用FileInputFormat.addInputPath()和job.setMpperClass()，否则会因为类型不匹配任务执行失败。

3 自定义InputFormat

当Hadoop实现的InputFormat不能满足要求时，我们会利用MapReduce的扩展机制自定义InputFormat。

3.1 自定义InputFormat实现步骤

(1)类继承FileInputFormat，并重写createRecorder方法,如果需要还可以重写isSplitable()来设置是否切片。
(2)继承RecordReader，实现一次读取一个完整文件封装为KV。

3.2 自定义InputFormat示例

3.2.1 需求描述

倒排索引(Inverted Index)是搜索引擎的基础，构建倒排索引时，需要在Mapper获取词项(Term)出现的文档(Doucument)信息,获取的方式如下：

FileInput inputSplit = (FileInput)context.getInputSplit();
//获取数据分片对应的文件路径
String path = inputSplit.getPath().toUri().getPath();
//获取数据分片对应的文件名
String fileName = inputSplit.getPath.getName()