hadoop中OutputFormat 接口的设计与实现-CSDN博客

OutputFormat 主要用于描述输出数据的格式，它能够将用户提供的 key/value 对写入特定格式的文件中。本文将介绍 Hadoop 如何设计 OutputFormat 接口，以及一些常用的OutputFormat 实现。

1.旧版 API 的 OutputFormat 解析

如图所示，在旧版 API 中，OutputFormat 是一个接口，它包含两个方法：

RecordWriter<K, V> getRecordWriter(FileSystem ignored, JobConf job,
                                     String name, Progressable progress)
                                             throws IOException;
void checkOutputSpecs(FileSystem ignored, JobConf job) throws IOException;

checkOutputSpecs 方法一般在用户作业被提交到 JobTracker 之前，由 JobClient 自动调用，以检查输出目录是否合法。

getRecordWriter 方法返回一个 RecordWriter 类对象。该类中的方法 write 接收一个key/value 对，并将之写入文件。在 Task 执行过程中， MapReduce 框架会将 map() 或者reduce() 函数产生的结果传入 write 方法，主要代码（经过简化）如下。假设用户编写的 map() 函数如下：

public void map(Text key, Text value,
         OutputCollector<Text, Text> output,
         Reporter reporter) throws IOException {
         // 根据当前 key/value 产生新的输出 <newKey, newValue>， 并输出
         ……
         output.collect(newKey, newValue);
}

则函数 output.collect(newKey, newValue) 内部执行代码如下：

RecordWriter<K, V> out = job.getOutputFormat().getRecordWriter(...);
out.write(newKey, newValue);

Hadoop 自带了很多OutputFormat 实现，它们与 InputFormat 实现相对应，具体如图所示。所有基于文件的 OutputFormat 实现的基类为 FileOutputFormat，并由此派生出一些基于文本文件格式、二进制文件格式的或者多输出的实现。

为了深入分析OutputFormat的实现方法，选取比较有代表性的FileOutputFormat类进行分析。同介绍 InputFormat 实现的思路一样，我们先介绍基类FileOutputFormat，再介绍其派生类 TextOutputFormat。基类 FileOutputFormat 需要提供所有基于文件的 OutputFormat 实现的公共功能，总结起来，主要有以下两个：
（1）实现 checkOutputSpecs 接口
该接口在作业运行之前被调用，默认功能是检查用户配置的输出目录是否存在，如果存在则抛出异常，以防止之前的数据被覆盖。
（2）处理 side-effect file
任务的 side-effect file 并不是任务的最终输出文件，而是具有特殊用途的任务专属文件。它的典型应用是执行推测式任务。在 Hadoop 中，因为硬件老化、网络故障等原因，同一个作业的某些任务执行速度可能明显慢于其他任务，这种任务会拖慢整个作业的执行速度。为了对这种“ 慢任务” 进行优化， Hadoop 会为之在另外一个节点上启动一个相同的任务，该任务便被称为推测式任务，最先完成任务的计算结果便是这块数据对应的处理结果。为防止这两个任务同时往一个输出文件中写入数据时发生写冲突， FileOutputFormat会为每个 Task 的数据创建一个 side-effect file，并将产生的数据临时写入该文件，待 Task完成后，再移动到最终输出目录中。这些文件的相关操作，比如创建、删除、移动等，均由 OutputCommitter 完成。它是一个接口，Hadoop 提供了默认实现 FileOutputCommitter，用户也可以根据自己的需求编写 OutputCommitter 实现，并通过参数 {mapred.output.committer.class} 指定。OutputCommitter 接口定义以及 FileOutputCommitter 对应的实现如表所示。

表-- OutputCommitter 接口定义以及 FileOutputCommitter 对应的实现

方法	何时被调用	FileOutputCommitter 实现
setupJob	作业初始化	创建临时目录 ${mapred.out.dir} /_temporary
commitJob	作业成功运行完成	删除临时目录，并在${mapred.out.dir} 目录下创建空文件_SUCCESS
abortJob	作业运行失败	删除临时目录
setupTask	任务初始化	不进行任何操作。原本是需要在临时目录下创建 side-effect file 的，但它是用时创建的（create on demand）
needsTaskCommit	判断是否需要提交结果	只要存在side-effect file，就返回 true
commitTask	任务成功运行完成	提交结果，即将 side-effect file 移动到 ${mapred.out.dir} 目录下
abortTask	任务运行失败	删除任务的 side-effect file注意默认情况下，当作业成功运行完成后，会在最终结果目录 ${mapred.out.dir} 下生成