二十六、OutputFormat数据输出-自定义数据输出规则

一、OutputFormat接口实现类

OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了 OutputFormat接口。下面我们介绍几种常见的OutputFormat实现类。

1、文本输出TextOutputFormat

默认的输出格式是TextOutputFormat，它把每条记录写为文本行。它的键和值可以是任意类型，因为TextOutputFormat调用toString()方法把它们转换为字符串。

2、SequenceFileOutputFormat

将SequenceFileOutputFormat输出作为后续 MapReduce任务的输入，这便是一种好的输出格式，因为它的格式紧凑，很容易被压缩。

3、自定义OutputFormat

根据用户需求，自定义实现输出。

二、自定义OutputFormat实操

1、需求分析

如下系统运行日志，取出其中的sql与异常信息，异常单独在一个文件，sql信息单独在一个文件。

2、解决方式

2.1 使用分区方式，判断数据内容，区分sql与异常信息
2.2 使用自定义OutputFormat，判断数据内容，区分sql与异常信息

这里主要演示第二种方式

3、代码实操

3.1 mapper代码

public class FilterMapper extends Mapper<LongWritable, Text, Text, NullWritable>{
    @Override
    protected void map(LongWritable key, Text value, Context context)	throws IOException, InterruptedException {
        // 直接写出数据即可
        context.write(value, NullWritable.get());
    }
}

3.2 reduce代码

public class FilterReducer extends Reducer<Text, NullWritable, Text, NullWritable> {
    Text k = new Text();
    @Override
    protected void reduce(Text key, Iterable<NullWritable> values, Context context)		throws IOException, InterruptedException {
        // 1 获取一行
        String line = key.toString();
        // 2 拼接
        line = line + "\r\n";
        // 3 设置key
        k.set(line);
        // 4 输出
        context.write(k, NullWritable.get());
    }
}

3.3 outputformat代码

与输入类似也是分为两步：
1、定义输出格式FileOutputFormat
2、定义输出数据的加载规则RecordWriter

public class FilterOutputFormat extends FileOutputFormat<Text, NullWritable>{

    @Override
    public RecordWriter<Text, NullWritable> getRecordWriter(TaskAttemptContext job)			throws IOException, InterruptedException {

        // 创建一个RecordWriter
        return new FilterRecordWriter(job);
    }

    class FilterRecordWriter extends RecordWriter<Text, NullWritable>{

        //1.定义输出流
        FSDataOutputStream errorOut = null;
        FSDataOutputStream sqlOut = null;

        public FilterRecordWriter(TaskAttemptContext job) {

            // 2 获取文件系统
            FileSystem fs;

            try {
                fs = FileSystem.get(job.getConfiguration());
                // 3 创建输出文件路径
                    Path sqlPath = new Path("d:/log/sql.log");
                Path errorPath = new Path("d:/log/error.log");

                // 4 创建输出流
                errorOut = fs.create(errorPath);
                sqlOut = fs.create(sqlPath);
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        @Override
        public void write(Text key, NullWritable value) throws IOException, InterruptedException {
            //5. 判断是否包含“atguigu”输出到不同文件
            if (key.toString().contains("==>  Preparing:")) {
                sqlOut.write(key.toString().getBytes());
            } else if(key.toString().contains("Caused by:")){
                errorOut.write(key.toString().getBytes());
            }else{
                //其它信息舍弃，其实在数据输入的时候就可以做此种判断，但是这里为了演示outputformat
            }
        }
        @Override
        public void close(TaskAttemptContext context) throws IOException, InterruptedException {
            // 关闭资源
            IOUtils.closeStream(sqlOut);
            IOUtils.closeStream(errorOut);	}
    }
}

3.4 driver代码

public class FilterDriver {

    public static void main(String[] args) throws Exception {

// 输入输出路径需要根据自己电脑上实际的输入输出路径设置
        args = new String[] { "C:\\logback", "d:/log/" };

        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        job.setJarByClass(FilterDriver.class);
        job.setMapperClass(FilterMapper.class);
        job.setReducerClass(FilterReducer.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);

        // 要将自定义的输出格式组件设置到job中
        job.setOutputFormatClass(FilterOutputFormat.class);

        FileInputFormat.setInputPaths(job, new Path(args[0]));

        // 虽然我们自定义了outputformat，但是因为我们的outputformat继承自fileoutputformat
        // 而fileoutputformat要输出一个_SUCCESS文件，所以，在这还得指定一个输出目录
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        boolean result = job.waitForCompletion(true);
        System.exit(result ? 0 : 1);
    }
}

3.5 测试结果