【MapReduce】Mapreduce基础知识整理 (七) 自定义输出

最新推荐文章于 2023-05-09 20:44:07 发布

时间的美景

最新推荐文章于 2023-05-09 20:44:07 发布

阅读量280

点赞数

分类专栏： Hadoop 文章标签：自定义输出 hadoop mapreduce

本文链接：https://blog.csdn.net/jiajane/article/details/103702080

版权

本文主要介绍MapReduce的自定义输出，包括默认的FileOutputFormat、TextOutputFormat和RecordWriter，以及如何创建自定义的输出类和RecordWriter。通过实例展示了如何根据学生平均成绩将结果分别输出到及格和不及格两个文件，并强调了自定义输出与ReduceTask输出的区别。

摘要由CSDN通过智能技术生成

自定义输出

默认输出：

FileOutputFormat
- TextOutputFormat
  - RecordWriter
    - LineRecordWriter

自定义输出：

创建一个类继承FileOutputFormat
重写getRecordWriter
创建一个文件真正的写入器，继承RecordRecordWriter
重写write() close()
job中指定自定义的输出类
job.setOutputFormatClass(MyFileOutputFormat.class);

案例：按学生平均成绩及格和不及格输出到不同文件

computer,huangxiaoming,85
computer,xuzheng,54
computer,huangbo,86
computer,liutao,85
computer,huanglei,99
computer,huangxiaoming,85
computer,xuzheng,54
computer,huangbo,86
computer,liujialing,45
computer,liuyifei,75
computer,huangdatou,48
computer,huangjiaju,88
computer,huangzitao,85

MyFileOutputFormat.java

/**
 * 泛型：reduce端输出的key,value
 */
public class MyFileOutputFormat extends FileOutputFormat<Text, DoubleWritable> {
   

    /**
     * @param job 上下文对象
     */
    public RecordWriter<Text, DoubleWritable> getRecordWriter(TaskAttemptContext job) throws IOException, InterruptedException {
   
        //获取文件系统，向fs中写
        FileSystem fs = FileSystem.get(job.getConfiguration());
        return new MyRecordWriter(fs);
    }
}

MyRecordWriter.java

public class MyRecordWriter extends RecordWriter<Text, DoubleWritable> {
   
    FileSystem fs;
    FSDataOutputStream fsDataOutputStream1;
    FSDataOutputStream fsDataOutputStream2;
    public MyRecordWriter(FileSystem fs) throws IOException {
   
        this.fs = fs;
        fsDataOutputStream1 = fs.create(

最低0.47元/天解锁文章