11. OutputFormat数据输出

OutputFormat数据输出

OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了 OutputFormat接口。下面我们介绍几种常见的OutputFormat实现类。

1. 常见的OutputFormat实现类

• 文本输出TextOutputFormat

  • 默认的输出格式是TextOutputFormat，它把每条记录写为文本行。它的键和值可以是任意类型，因为TextOutputFormat调用toString()方法把它们转换为字符串

• SequenceFileOutputFormat

  • 将SequenceFileOutputFormat输出作为后续 MapReduce任务的输入，这便是一种好的输出格式，因为它的格式紧凑，很容易被压缩。

• 自定义OutputFormat

  • 根据用户需求，自定义实现输出。

2. 自定义OutputFormat

2.1 自定义OutputFormat使用场景

为了实现控制最终文件的输出路径和输出格式，可以自定义OutputFormat。

例如：要在一个MapReduce程序中根据数据的不同输出两类结果到不同目录，这类灵活的输出需求可以通过自定义OutputFormat来实现。

2.2 自定义OutputFormat步骤

1. 自定义一个类继承FileOutputFormat。
2. 改写RecordWriter，具体改写输出数据的方法write()。

2.3 自定义OutputFormat案例实操

FilterMapper

/**
 * @Date 2020/7/11 16:32
 * @Version 10.21
 * @Author DuanChaojie
 */
public class FilterMapper extends Mapper<LongWritable, Text,Text, NullWritable> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        context.write(value,NullWritable.get());
    }
}

FilterReducer

public class FilterReducer extends Reducer<Text, NullWritable,Text,NullWritable> {
    Text k = new Text();
    @Override
    protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
        String line = key.toString();
        line = line + "\r\n";

        k.set(line);
        // 遍历values与不遍历有什么区别？
        context.write(k,NullWritable.get());
        
    }
}

FilterOutputFormat

public class FilterOutputFormat extends FileOutputFormat<Text, NullWritable> {
    @Override
    public RecordWriter<Text, NullWritable> getRecordWriter(TaskAttemptContext job) throws IOException, InterruptedException {
        // 创建一个RecordWriter
        return new FilterRecordWriter(job);
    }
}

FilterRecordWriter☆

public class FilterRecordWriter extends RecordWriter<Text, NullWritable> {

    FSDataOutputStream atguiguOut = null;
    FSDataOutputStream otherOut = null;

    public FilterRecordWriter(TaskAttemptContext job) {
        // 1.获取文件系统
        FileSystem fs;

        try {
            fs = FileSystem.get(job.getConfiguration());

            // 2.创建输出文件路径
            Path atguiguPath = new Path("E:/file/atguigu.log");
            Path otherPath = new Path("E:/file/other.log");

            // 3.创建输出流
            atguiguOut = fs.create(atguiguPath);
            otherOut = fs.create(otherPath);

        } catch (IOException e) {
            e.printStackTrace();
        }

    }

    @Override
    public void write(Text key, NullWritable value) throws IOException, InterruptedException {
        // 判断是否包含“atguigu”输出到不同文件
        if(key.toString().contains("atguigu")){
            atguiguOut.write(key.toString().getBytes());
        }else{
            otherOut.write(key.toString().getBytes());
        }
    }

    @Override
    public void close(TaskAttemptContext context) throws IOException, InterruptedException {
        IOUtils.closeStream(atguiguOut);
        IOUtils.closeStream(otherOut);
    }
}

FilterDriver

public class FilterDriver {

   public static void main(String[] args) throws Exception {

      // 输入输出路径需要根据自己电脑上实际的输入输出路径设置
      args = new String[] { "E:\\file\\input\\outputFormat", "e:/file/output5" };

      Configuration conf = new Configuration();
      Job job = Job.getInstance(conf);

      job.setJarByClass(FilterDriver.class);
      job.setMapperClass(FilterMapper.class);
      job.setReducerClass(FilterReducer.class);

      job.setMapOutputKeyClass(Text.class);
      job.setMapOutputValueClass(NullWritable.class);

      job.setOutputKeyClass(Text.class);
      job.setOutputValueClass(NullWritable.class);

      // 要将自定义的输出格式组件设置到job中
      job.setOutputFormatClass(FilterOutputFormat.class);

      FileInputFormat.setInputPaths(job, new Path(args[0]));

      // 虽然我们自定义了outputformat，但是因为我们的outputformat继承自fileoutputformat
      // 而fileoutputformat要输出一个_SUCCESS文件，所以，在这还得指定一个输出目录
      FileOutputFormat.setOutputPath(job, new Path(args[1]));

      boolean result = job.waitForCompletion(true);
      System.exit(result ? 0 : 1);
   }
}

结果：

☆