MapReduce自定义InputFormat和OutputFormat

最新推荐文章于 2024-05-07 16:52:06 发布
最新推荐文章于 2024-05-07 16:52:06 发布
阅读量87 收藏
点赞数
文章标签： 大数据 java
原文链接：http://www.cnblogs.com/areyouready/p/9904262.html
版权

一、自定义InputFormat

需求：将多个小文件合并为SequenceFile（存储了多个小文件）

存储格式：文件路径+文件的内容

        c:/a.txt I love Beijing 
        c:/b.txt I love China
        
        inputFormat(自定义加上路径)

1.Mapper类

package com.css.inputformat;

import java.io.IOException;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

public class SequenceFileMapper extends Mapper<NullWritable, BytesWritable, Text, BytesWritable>{

    Text k = new Text();
    
    @Override
    protected void setup(Context context)
            throws IOException, InterruptedException {
        // 1.拿到切片信息
        FileSplit split = (FileSplit) context.getInputSplit();
        // 2.路径
        Path path = split.getPath();
        // 3.即带路径又带名称
        k.set(path.toString());
    }
    
    @Override
    protected void map(NullWritable key, BytesWritable value,Context context)
                    throws IOException, InterruptedException {
        // 输出
        context.write(k, value);
    }
}

2.Reducer类

package com.css.inputformat;

import java.io.IOException;

import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class SequenceFileReducer extends Reducer<Text, BytesWritable, Text, BytesWritable>{

    @Override
    protected void reduce(Text key, Iterable<BytesWritable> values,
            Context context) throws IOException, InterruptedException {
        for (BytesWritable v : values) {
            context.write(key, v);
        }
    }
}

3.自定义InputFormat类

package com.css.inputformat;

import java.io.IOException;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.JobContext;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

/**
 * 1.创建自定义Inputformat
 */
public class FuncFileInputFormat extends FileInputFormat<NullWritable, BytesWritable>{

    @Override
    protected boolean isSplitable(JobContext context, Path filename) {
        // 不切原来的文件
        return false;
    }

    @Override
    public RecordReader<NullWritable, BytesWritable> createRecordReader(InputSplit split, TaskAttemptContext context)
            throws IOException, InterruptedException {
        FuncRecordReader RecordReader = new FuncRecordReader();
        return RecordReader;
    }
}

4.自定义RecordReader类

package com.css.inputformat;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

/**
 * 2.编写RecordReader
 */
public class FuncRecordReader extends RecordReader<NullWritable, BytesWritable>{

    boolean isProcess = false;
    FileSplit split;
    Configuration conf;
    BytesWritable value = new BytesWritable();
    // 初始化
    @Override
    public void initialize(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {
        // 初始化文件切片
        this.split = (FileSplit) split;
        // 初始化配置信息
        conf = context.getConfiguration();
    }

    @Override
    public boolean nextKeyValue() {
        if (!isProcess) {
            // 1.根据切片的长度来创建缓冲区
            byte[] buf = new byte[(int)split.getLength()];
            FSDataInputStream fis = null;
            FileSystem fs = null;
            try {
                // 2.获取路径
                Path path = split.getPath();
                
                // 3.根据路径获取文件系统
                fs = path.getFileSystem(conf);
                
                // 4.拿到输出流
                fis = fs.open(path);
                
                // 5.数据拷贝
                IOUtils.readFully(fis, buf, 0, buf.length);
                
                // 6.拷贝缓存到最终的输出
                value.set(buf, 0, buf.length);;
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                IOUtils.closeStream(fis);
                IOUtils.closeStream(fs);
            }
            
            isProcess = true;
            return true;
        }
        return false;
    }

    @Override
    public NullWritable getCurrentKey() throws IOException, InterruptedException {
        return NullWritable.get();
    }

    @Override
    public BytesWritable getCurrentValue() throws IOException, InterruptedException {
        return value;
    }

    @Override
    public float getProgress() throws IOException, InterruptedException {
        return 0;
    }

    @Override
    public void close() throws IOException {
    }
}

5.Driver类

package com.css.inputformat;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat;

public class SequenceDriver {
    public static void main(String[] args) throws IllegalArgumentException, IOException, ClassNotFoundException, InterruptedException {
        // 1.获取job信息
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        // 2.获取jar包
        job.setJarByClass(SequenceDriver.class);

        // 3.获取自定义的mapper与reducer类
        job.setMapperClass(SequenceFileMapper.class);
        job.setReducerClass(SequenceFileReducer.class);
        
        // 4.设置自定义读取方式
        job.setInputFormatClass(FuncFileInputFormat.class);
        // 5.设置默认的输出方式
        job.setOutputFormatClass(SequenceFileOutputFormat.class);

        // 6.设置map输出的数据类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(BytesWritable.class);

        // 7.设置reduce输出的数据类型（最终的数据类型）
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(BytesWritable.class);

        // 8.设置输入存在的路径与处理后的结果路径
        FileInputFormat.setInputPaths(job, new Path("c:/in1027/"));
        FileOutputFormat.setOutputPath(job, new Path("c:/out1027/"));

        // 9.提交任务
        boolean rs = job.waitForCompletion(true);
        System.out.println(rs ? 0 : 1);
    }
}

6.输入小文件

（1）a.txt
I love Beijing
（2）b.txt
I love China
（3）c.txt
Bejing is the capital of China

7.输出文件part-r-00000

SEQorg.apache.hadoop.io.Text"org.apache.hadoop.io.BytesWritable      嫜瑻z萶2
?擎?  (   file:/c:/in1027/a.txt   I love Beijing   &   file:/c:/in1027/b.txt   I love China   8   file:/c:/in1027/c.txt   Bejing is the capital of China
 
二、自定义OutputFormat 
需求:过滤日志文件
    把包含main的放在一个文件中 d:/main.logs
    把不包含main的放在另外一个文件 d:/other.logs

1.Mapper类

package com.css.outputformat;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class FileMapper extends Mapper<LongWritable, Text, Text, NullWritable>{

    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        // 输出
        context.write(value, NullWritable.get());
    }
}

2.Reducer类

package com.css.outputformat;

import java.io.IOException;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class FileReducer extends Reducer<Text, NullWritable, Text, NullWritable>{

    @Override
    protected void reduce(Text key, Iterable<NullWritable> values,
            Context context) throws IOException, InterruptedException {
        // 数据换行
        String k = key.toString() + "\n";
        context.write(new Text(k), NullWritable.get());
    }
}

3.自定义OutputFormat类

package com.css.outputformat;

import java.io.IOException;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.RecordWriter;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class FuncFileOutputFormat extends FileOutputFormat<Text, NullWritable>{

    @Override
    public RecordWriter<Text, NullWritable> getRecordWriter(TaskAttemptContext job)
            throws IOException, InterruptedException {
        FileRecordWriter fileRecordWriter = new FileRecordWriter(job);
        return fileRecordWriter;
    }
}

4.自定义RecordWriter类

package com.css.outputformat;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.RecordWriter;
import org.apache.hadoop.mapreduce.TaskAttemptContext;

public class FileRecordWriter extends RecordWriter<Text, NullWritable>{

    Configuration conf = null;
    FSDataOutputStream mainlog = null;
    FSDataOutputStream otherlog = null;
    
    // 1.定义数据输出路径
    public FileRecordWriter(TaskAttemptContext job) throws IOException{
        // 获取配置信息
        conf = job.getConfiguration();
        // 获取文件系统
        FileSystem fs = FileSystem.get(conf);
        // 定义输出路径
        mainlog = fs.create(new Path("c:/outputmain/main.logs")); // part-r-00000
        otherlog = fs.create(new Path("c:/outputother/other.logs"));
    }
    
    // 2.数据输出
    @Override
    public void write(Text key, NullWritable value) throws IOException, InterruptedException {
        // 判断的话根据key
        if (key.toString().contains("main")) {
            // 写出到文件
            mainlog.write(key.getBytes());
        }else {
            otherlog.write(key.getBytes());
        }
    }

    // 3.关闭资源
    @Override
    public void close(TaskAttemptContext context) throws IOException, InterruptedException {
        if (null != mainlog) {
            mainlog.close();
        }
        if (null != otherlog) {
            otherlog.close();
        }
    }
}

5.Driver类

package com.css.outputformat;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class FileDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 1.获取job信息
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);
        // 2.获取jar包
        job.setJarByClass(FileDriver.class);
        // 3.获取自定义的mapper与reducer类
        job.setMapperClass(FileMapper.class);
        job.setReducerClass(FileReducer.class);
        // 4.设置map输出的数据类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);
        // 5.设置reduce输出的数据类型（最终的数据类型）
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);
        // 6.设置自定义outputFormat
        job.setOutputFormatClass(FuncFileOutputFormat.class);
        // 7.设置输入存在的路径与处理后的结果路径
        FileInputFormat.setInputPaths(job, new Path("c:/in1029/"));
        FileOutputFormat.setOutputPath(job, new Path("c:/out1029/"));
        // 8.提交任务
        boolean rs = job.waitForCompletion(true);
        System.out.println(rs ? 0 : 1);
    }
}

6.输入文件data.logs

http://www.baidu.com
http://taobao.com
http://jd.com
http://it.com
http://main.js
http://qq.com
http://main.com.cn

7.输出文件

（1）main.logs
http://main.com.cn
 http://main.js
 
（2）other.logs
http://it.com
 http://jd.com
 http://qq.com
 http://taobao.com
 http://www.baidu.com

 

转载于:https://www.cnblogs.com/areyouready/p/9904262.html

weixin_30355437
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mapreduce_training:用于教学目的的MapReduce应用程序集
05-15
MapReduce自定义OutputFormat和RecordWriter实现 Pig自定义LoadFunc加载和解析Apache HTTP日志事件 Pig的自定义EvalFunc使用MaxMind GEO API将IP地址转换为位置 另外，请查看，了解如何实现MapReduce联接。 包装库 ...
MapReduce--Shuffle中的两个优化Combiner&Compress
qq_46893497的博客
12-03 251
0、概览 Combiner：利用多个Map来并行分担Reduce的负载实现提高性能 Compress：利用节省数据的空间提高磁盘和网络的读写IO来提高性能 压缩改变不了数据 只是一种数据存储的算法 100条数据不压缩1GB，压缩以后1MB，100条数据 1、Combiner 本质：提前进行聚合，让MapTask分担ReduceTask的工作 Shuffle过程 Map端的shuffle：MapTask进程 Reduce端的shuffle：ReduceTask进程 针对WordCount快
MapReduce------自定义mysql的InputFormat和OutputFormat
洛云凡
09-08 302
需求 从stu表中读取数据，统计各个年龄段的人数，并输出到stu_res表中。 CREATE TABLE `stu` ( `id` int(11) NOT NULL DEFAULT '0', `student_id` int(11) DEFAULT NULL, `name` varchar(45) DEFAULT NULL, `age` int(1) DEFAULT NULL...
MapReduce中自定义InputFormat，处理输入小文件的问题，输出时使用SequenceFileOutPutFormat合并文件
weixin_41388042的博客
07-19 1749
1.需求          无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决             方案。将多个小文件合并成一个SequenceFile文件（SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件            格式），SequenceFile里面存储着多个文件，存...
Hadoop自定义 inputformat 和outputformat 实现图像的读写
nmingwei的博客
03-23 1281
自定义 inputformat 和outputformat 实现图像的读写
hadoop编程小技巧（5）---自定义输入文件格式类InputFormat
fansy1990的专栏
07-22 8422
Hadoop代码测试环境：Hadoop2.4应用：在对数据需要进行一定条件的过滤和简单处理的时候可以使用自定义输入文件格式类。Hadoop内置的输入文件格式类有：1）FileInputFormat这个是基本的父类，我们自定义就直接使用它作为父类；2）TextInputFormat这个是默认的数据格式类，我们一般编程，如果没有特别指定的话，一般都使用的是这个；key代表当前行数据距离文件开始的距离，
FocusBigData:【大数据成神之路学习路径+面经+简历】
05-07
FocusBigData :elephant:Hadoop分布存储框架 Hadoop篇 HDFS篇 ...MapReduce之InputFormat数据输入 MapReduce之OutputFormat数据输出 MapReduce之Shuffle机制 MapReduce之MapJoin和ReduceJoin MapReduce之
ecosystem:TensorFlow与其他开源框架的集成
03-31
TensorFlow生态系统 该存储库包含将TensorFlow与其他开源框架集成的示例。... -Hadoop MapReduce和Spark的TFRecord文件InputFormat / OutputFormat。 -Spark TensorFlow连接器 -Python软件包，可帮助用户使用TensorF
argo的输入输出--output和input输出目录或文件到下一步骤
直到世界的尽头
10-31 3938
转载请注明出处: argo的输入输出–output和input输出目录或文件到下一步骤 有部分场景需要使用output把目录或者文件传递到下一个步骤。 argo提供了两种方式 一种是参数方式parameter 一种是组件方式artifacts 各自适用于不同的场景，参数方式是把某个文本的内容读取出来传递给下一步骤。 组件方式可以传递文件本身或者文件目录。 参数方式parameter 参数方式的用户...
Hadoop mapreduce自定义 inputformat 和outputformat 实现图像的读写
随缘写写干货
06-26 269
   数据输入格式InputFormat用于描述MapReduce作业的数据输入规范。MapReduce框架依靠数据输入格式完成输入规范检查（比如输入文件目录的检查、对数据文件进行输入分块（InputSplit）,从输入分片中...
Mapreduce编程三 自定义outputformat
tom_fans的博客
07-06 2804
mapreduce默认的inputformat和outputformat分别为：FileInputFormat和FileOutputFormat， 也就是从文本读，输出到文本。但是很多时候我们的源数据并非一定是文本，输出也未必一定到文件，可能我们希望进入数据库，比如 MySQL或者HBASE。HBASE因为默认官方已经有了相关的类，在我的博客另外一篇文章里做了介绍，就是2个类，比较简单，不做具体介
自定义的inputformat和outputformat举例
m0_37786726的博客
01-23 1273
1. 自定义inputFormat 1.1 需求 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案   1.2 分析 小文件的优化无非以下几种方式： 1、 在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS 2、 在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并 3、 在m
Mapreduce的InputFormat和OutputFormat类层次结构
Hello World
05-05 712
InputFormat
Hadoop——自定义数据类型，实现WritableComparable, 并且 分组，排序
kevin_xiang的专栏
09-26 5017
http://blog.csdn.net/u014432433/article/details/51104026 1. 在进行mapreduce编程时key键往往用于分组或排序，当我们在进行这些操作时Hadoop内置的key键数据类型不能满足需求时， 或针对用例优化自定义数据类型可能执行的更好。因此可以通过实现org.apache.hadoop.io.WritableComparable接
11 - MapReduce工作流程、shuffle机制、分区、排序以及合并
花&败
08-04 288
bean对象做为key传输，需要实现接口重写compareTo方法，就可以实现排序。
ruoyi漏洞总结
qq_59468567的博客
05-03 838
baseurl 就有了，有的是全的 url，大多数是只给个 baseurl：prod-api，这类。js 下面有个 app.xxxxxx(一些个字母数字).js，直接里面搜。如果页面访问显示不正常，可添加默认访问路径尝试是否显示正常。若依有个特点，密码可能在前台直接显示，点击并能够成功登录。监控中存在大量接口路径，可通过未授权获取更多敏感信息在。图标和登录页面及验证码处的样式识别出若依。认证失败，无法访问系统资源。进行替换实现登录系统。数据库存在未授权访问。
《深入理解kafka-核心设计与实践原理》第一章：概念
qq_41157876的博客
05-06 1071
理解：分区 ISR集合中的每个副本都会维护自身的 LEO，而ISR集合中最小的 LEO 即为分区的 HW ，对消费者而言只能消费 HW 之前的消息。总结：kafka通过partition的水平扩展支持高性能，通过replica提升容灾能力。4个broker，3个partition，replica=3（一主两从）
设置 kafka offset 消费者位移
最新发布
谢文峰的博客
05-07 329
Specified-Offset 策略直接指定 --to-offset。Duration 策略，我们直接指定 --by-duration。Shift-By-N 策略直接指定 --shift-by N。Earliest 策略直接指定 --to-earliest。DateTime 策略直接指定 --to-datetime。Current 策略直接指定 --to-current。Latest 策略直接指定 --to-latest。不同的版本，下面的路径可能不一样。= 9+1，即跳过一条记录。
       将导入或导出命令翻译成 MapReduce 程序来实现 在翻译出的 MapReduce 中主要是对InputFormat 和  OutputFormat 进行定制
06-09
为了将这些命令转换为MapReduce程序，我们需要编写自定义的InputFormat和OutputFormat类来读取和写入数据。InputFormat类定义了如何将外部数据转换为MapReduce任务的输入数据，而OutputFormat类则定义了如何将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值