MapReducer的map和reducer的几种写法模板以及自定义数据类型

最新推荐文章于 2024-04-15 22:58:32 发布
最新推荐文章于 2024-04-15 22:58:32 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： 大数据学习 文章标签： hdfs hadoop 大数据 hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_55868614/article/details/121245321
版权

模板1

        最基本的MapReduecr程序的写法

流程：

        将数据从本地文件导入，经过MapReduecr数据分析，将分析结果存储到HDFS

案例代码

导入依赖


<!--hadoop的通用模块的依赖坐标-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <!--hadoop的对HDFS分布式文件系统访问的技术支持的依赖坐标-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <!--hadoop的客户端访问的依赖坐标-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
    </dependencies>

Mapper代码

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;
 

public class TestMapper extends Mapper <LongWritable, Text,Text, IntWritable>{
    
	
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        
		// 逻辑代码...
    }
}

Reducer代码

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;
 

public class TestReducer extends Reducer <Text, IntWritable,Text,IntWritable>{
    
	
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        
		// 逻辑代码...
    }
}

Tool代码

import com.cw.ct.analysis.mapper.TestMapper;
import com.cw.ct.analysis.reducer.TestReducer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.JobStatus;
import org.apache.hadoop.util.Tool;


/**
 *  数据分析的工具类
 */
public class TestTool implements Tool {

    private Configuration configuration = null;

    public int run(String[] strings) throws Exception {

		// 初始化job任务
        Job job = Job.getInstance();
        job.setJarByClass(TestTool.class);

        
		//设置运行哪个map Task
        job.setMapperClass(TestMapper.class);
 
        //设置运行哪个reduce Task
        job.setReducerClass(TestReducer.class);
 
        //设置map Task的输出的（key，value）的数据类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
 
        //设置reduce Task的输出的（key，value）的数据类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
 
        //指定要处理的数据所在的位置
        FileInputFormat.setInputPaths(job,"hdfs://192.168.91.101:8020/wordcount/input/big.txt");
        //指定处理之后的结果数据保存位置
        FileOutputFormat.setOutputPath(job,new Path("hdfs://192.168.91.101:8020/wordcount/output"));
		
        boolean result = job.waitForCompletion(true);
        if (result){
            return JobStatus.State.SUCCEEDED.getValue();
        }else{
            return JobStatus.State.FAILED.getValue();
        }
    }

    public void setConf(Configuration configuration) {
        this.configuration = configuration

    }

    public Configuration getConf() {
        return this.configuration;
    }
}

启动类

public class Bootstrap {
    public static void main(String[] args) throws Exception {

		// 写法一：
        int result = ToolRunner.run(new TestTool(), args);
		
		// 写法二:
		// new Configuration():将MapReducer程序运行的环境中的配置文件自动加载(core.xml,hbase.xml...)
		// new Configuration()其实写不写都可以，ToolRunner会检测tool中的Configuration是否不为null值，为null值自动创建一个Configuration
		int result = ToolRunner.run(new Configuration(),new TestTool(), args);

        if (result == JobStatus.State.SUCCEEDED.getValue()){
            System.out.println("运行成功！");
            System.exit(0);
        }else{
            System.out.println("运行失败！");
            System.exit(1);
        }
    }
}

模板2

        Hbase集成MapReducer

流程

        从HDFS中读取文件数据，将数据存储到Hbase

案例代码

导入依赖

由于HBase的依赖包中已经集成了hadoop等jar包，因此只需导入HBase包即可

<dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.3.1</version>
</dependency>

Mapper代码

public class TestMapper extends Mapper<LongWritable,Text,LongWritable, Text> {


    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        // 逻辑代码...
    }
}

Reducer代码

/**
* 继承TableReducer类，实现与HBase打交道
*
*
*/
public class TestReducer extends TableReducer<LongWritable, Text, NullWritable> {

    @Override
    protected void reduce(LongWritable key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

        // 示范代码，仅供参考
        for(Text value:values){

            //获取每行的数据
            String [] fields=value.toString().split("\t");

            //构建Put对象
            Put put = new Put(Bytes.toBytes(fields[0]));

            //4.给Put对象赋值
            put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes(fields[1]));
            put.addColumn(Bytes.toBytes("info"),Bytes.toBytes("color"),Bytes.toBytes(fields[2]));

            context.write(NullWritable.get(),put);
        }
    }
}

tool代码

public class TestTool implements Tool {

    //定义一个Configuration
    private Configuration configuration = null;

    public int run(String[] args) throws Exception {

        //1.获取Job对象
        Job job = Job.getInstance(configuration);

        //2.设置驱动类路径
        job.setJarByClass(TestTool.class);

        //3.设置Mapper和Mapper输出的KV类型
        job.setMapperClass(TestMapper.class);
        job.setMapOutputKeyClass(LongWritable.class);
        job.setMapOutputValueClass(Text.class);

        //4.设置Reducer类
        TableMapReduceUtil.initTableReducerJob(args[1],TestReducer.class,job);

        //5.设置输入参数
        FileInputFormat.setInputPaths(job,new Path(args[0]));

        //6.提交任务
        boolean result = job.waitForCompletion(true);

        return result?0:1;
    }

    public void setConf(Configuration configuration) {
        this.configuration=configuration;

    }

    public Configuration getConf() {
        return configuration;
    }
}

启动类

public class Bootstrap {
    public static void main(String[] args) throws Exception {

        int run = ToolRunner.run(cnew TestTool(), args);
        System.exit(run);

    }
}

模板3

流程

        从HBase中读取数据，再将数据存储到HBase

案例代码

Mapper代码

public class TestMapper extends TableMapper<ImmutableBytesWritable, Put> {

    /**
     *  同一个rowKey的属于一个Map任务，也就是按照rowKey划分Map任务
     * @param key
     * @param value
     * @param context
     * @throws IOException
     * @throws InterruptedException
     */
    protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {

		// 以下为示范代码
        //构建Put对象
        Put put = new Put(key.get());

        //获取数据
        for (Cell cell:value.rawCells()){

            //给Put对象赋值
                put.add(cell);
        }

        //写出
        context.write(key,put);
    }
}

Reducer代码

public class TestReducer extends TableReducer<ImmutableBytesWritable, Put, NullWritable> {

    @Override
    protected void reduce(ImmutableBytesWritable key, Iterable<Put> values, Context context) throws IOException, InterruptedException {

        for(Put put:values){
            context.write(NullWritable.get(),put);
        }

    }
}

tool代码

public class TestTool implements Tool {

    private Configuration configuration = null;

    public int run(String[] args) throws Exception {

        Job job = Job.getInstance(configuration);
        job.setJarByClass(FruitDriver2.class);

		// 设置Mapper，fruit1为HBase表名，new Scan()为全局扫描读取数据
        TableMapReduceUtil.initTableMapperJob("fruit1",new Scan(),TestMapper.class,ImmutableBytesWritable.class,Put.class,job);
		
		// 设置Reducer，fruit2为HBase表名
        TableMapReduceUtil.initTableReducerJob("fruit2",TestReducer.class,job);

        boolean result = job.waitForCompletion(true);

        return result ? 0:1;
    }

    public void setConf(Configuration configuration) {
        this.configuration=configuration;

    }

    public Configuration getConf() {
        return configuration;
    }
}

启动类

public class Bootstrap{

     public static void main(String[] args) throws Exception {

        int run = ToolRunner.run(configuration, new FruitDriver2(), args);
        System.exit(run);
    }
}

模板4

        将MapReducer与Mysql和HBase集成

流程

        MapReducer从HBase中读取数据，然后数据分析，将分析结果保存到Mysql

案例代码

Mapper代码

public class TestMapper extends TableMapper<Text, Text> {

    @Override
    protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
		// 逻辑代码...
    }
}

Reducer代码

public class TestReducer extends Reducer<Text, Text,Text,Text> {

    @Override
    protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

        // 逻辑代码...
    }
}

 自定义输出格式

/**
 *  MySQL的数据格式化输入对象
 */
public class MySqlTestOutputFormat extends OutputFormat<Text, Text> {

    private FileOutputCommitter committer = null;

    // 实现一个静态内部类
    protected static class MySQLRecordWrite extends RecordWriter<Text,Text>{

		public MySQLRecordWrite() {
            
        }

        /**
         *  输出数据
         * @param text
         * @param text2
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        public void write(Text text, Text text2) throws IOException, InterruptedException {
            // 实现将数据存储到Mysql中
        }

        /**
         *  释放资源
         * @param taskAttemptContext
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        public void close(TaskAttemptContext taskAttemptContext) throws IOException, InterruptedException {
            
        }
    }
	
	/**
	* 将自定义的内部读写类返回
	*/
    @Override
    public RecordWriter<Text, Text> getRecordWriter(TaskAttemptContext taskAttemptContext) throws IOException, InterruptedException {
        return new MySQLRecordWrite();
    }

    @Override
    public void checkOutputSpecs(JobContext jobContext) throws IOException, InterruptedException {

    }

	// 以下的方法代码照搬即可
    @Override
    public OutputCommitter getOutputCommitter(TaskAttemptContext taskAttemptContext) throws IOException, InterruptedException {

        if (this.committer == null) {
            Path output = getOutputPath(taskAttemptContext);
            this.committer = new FileOutputCommitter(output,taskAttemptContext);
        }

        return this.committer;
    }

    private static Path getOutputPath(JobContext job) {

        String name = job.getConfiguration().get(FileOutputFormat.OUTDIR);
        return name == null ? null: new Path(name);
    }
}

tool代码

/**
 *  数据分析的工具类
 */
public class TestTool implements Tool {

    private Configuration configuration = null;

    public int run(String[] strings) throws Exception {

        Job job = Job.getInstance();
        job.setJarByClass(AnalysisTextTool.class);

        // 设置mapper
        TableMapReduceUtil.initTableMapperJob(
                Names.TABLE.getValue(),
                new Scan(),
                TestMapper.class,
                Text.class,
                Text.class,
                job
        );

        // 设置reducer
        job.setReducerClass(TestReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
		
		// 设置自定义的输出格式
        // outputformat
        job.setOutputFormatClass(MySqlTextOutputFormat.class);

        boolean result = job.waitForCompletion(true);
        return result ? 0:1;
    }

    public void setConf(Configuration configuration) {
        this.configuration = configuration

    }

    public Configuration getConf() {
        return this.configuration;
    }
}

启动类

public class Bootstrap{

     public static void main(String[] args) throws Exception {

        int run = ToolRunner.run( new TestTool(), args);
        System.exit(run);
    }
}

自定义数据类型

         有时，在MapReducer中的数据类型是无法满足我们的需求的，因此我们要定义一些自定义数据对象

模板

自定义Key类型

/**
 *  自定义数据分析Key
 *  Writable：是基本数据类接口
 *  Comparable：key比较接口
 *
 */
public class TestKey implements WritableComparable<TestKey> {


    private String tel;
    private String date;


    public TestKey() {
    }

    public TestKey(String tel, String date) {
        this.tel = tel;
        this.date = date;
    }

    public String getTel() {
        return tel;
    }

    public void setTel(String tel) {
        this.tel = tel;
    }

    public String getDate() {
        return date;
    }

    public void setDate(String date) {
        this.date = date;
    }

    /**
     *  比较tel,date，如果相同的，发送到同一个reducer
     * @param key
     * @return
     */
    public int compareTo(TestKey key) {

		// 以下为示范代码
		
		
        int result = tel.compareTo(key.getTel());
        // 如果tel相同则比较date
        if (result == 0){
            result = date.compareTo(key.getDate());
        }
        // 返回0是相同的意思
        return result;
    }

    /**
     *  写数据，必须实现
     * @param dataOutput
     * @throws IOException
     */
    public void write(DataOutput dataOutput) throws IOException {
        dataOutput.writeUTF(tel);
        dataOutput.writeUTF(date);

    }

    /**
     *  读数据，必须实现
     * @param dataInput
     * @throws IOException
     */
    public void readFields(DataInput dataInput) throws IOException {
		 // 读取顺序要和写数据一致
        tel = dataInput.readUTF();
        date = dataInput.readUTF();

    }
}

自定义Value类型

/**
 *  自定义Value
 *  只需实现Writable即可，因为value不用比较
 */
public class TestValue implements Writable {


    private String sumCall;
    private String sumDuration;

    public TestValue() {

    }

    public TestValue(String sumCall, String sumDuration) {
        this.sumCall = sumCall;
        this.sumDuration = sumDuration;
    }

    public String getSumCall() {
        return sumCall;
    }

    public void setSumCall(String sumCall) {
        this.sumCall = sumCall;
    }

    public String getSumDuration() {
        return sumDuration;
    }

    public void setSumDuration(String sumDuration) {
        this.sumDuration = sumDuration;
    }

	/**
     *  写数据，必须实现
     * @param dataOutput
     * @throws IOException
     */
    public void write(DataOutput dataOutput) throws IOException {
        dataOutput.writeUTF(sumCall);
        dataOutput.writeUTF(sumDuration);

    }
	
	/**
     *  读数据，必须实现
     * @param dataInput
     * @throws IOException
     */
    public void readFields(DataInput dataInput) throws IOException {
		// 读取顺序要和写数据一致
        sumCall = dataInput.readUTF();
        sumDuration = dataInput.readUTF();
    }
}

程序员阿伟
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
React之redux的模板
weixin_68658847的博客
04-28 676
React之redux的模板。
【大数据】Map-Reduce的讲解
进阶之路
04-02 498
Map-Reduce Map-Reduce也逐渐成为大数据题目面试的热门，多了解一下也无妨。 我们先来介绍一下哈希函数 哈希函数又叫做散列函数，哈希函数的输入域可以是非常大的范围，但是输出域是固定范围，假设为s. 哈希函数的性质： 典型的哈希函数都拥有无限的输入值域 输入值相同时，返回值一样（返回值又叫哈希值） 输入值不同时，返回值有可能一样，也有可能不一样。 不同输入值得到的哈希值，虽然会有重...
ue转换文件格式linux,关于windows与unix之间文件格式转换问题。UE编辑器中（CR/LF)问题...
weixin_29843603的博客
05-03 2705
问题描述：对于我们来说在windows下编码的直观和操作简单方便，不用记大量的编辑命令，动动鼠标就OK了。但是对于我们这些工作在Unix下的开发者来说，我们习惯于在windows下编辑，然后同步到unix下。也许你会发现当你把创建的文件以二进制的方式传到unix下，并打开，会在每行的最后多了一个^M字符。文件小，我们可以手动删除。 如果文件内容很多呢，我想你一定不会选择这种方式。为什么会出现这个字...
hadoop----自己写的mapreduce
m0_67466364的博客
11-26 93
离线：mapreduce是基于磁盘上的文件的运算（不是实时进行数据统计/运算的）—-》是要找一个空闲时间（用户访问量少的时候），进行统一的统计/运算—-》这是一种推荐方式。—>继承Mapper类（extends Mapper)---->注意：还需要泛型指定。还有一种推荐方式：spark—-》spark是基于内存进行的运算（是实时进行推荐的，但是对内存的要求比较大）mapreduce书写过程---->写一个简单的逻辑来体会---->我们来写一个自定义的wordcount。mapreduce执行流程？
Hadoop MapReduce验证分析
神技圈子的博客
02-16 6041
1、输入文件 输入文件为一个1.2GB的文本文件，通过wc命令可以验证文本文件的行数，和总的单词个数。 运行命令： hadoop jar /root/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /output 行数为26048904 单词个数为：...
PV、UV的几种写法
01-20
在数据分析和网站流量统计中，PV（Page View）和UV（Unique Visitor）是两个非常重要的概念。PV代表页面浏览量，即用户每打开一个页面就被计数一次；而UV则表示独立访客数，指的是不重复的访问者数量。本文将讨论...
16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN
05-29
总结，MapReduce提供了强大的工具来处理大规模数据，包括自定义序列化以适应各种数据类型，通过排序、分区和分组优化数据处理流程，以及使用TopN算法挖掘数据中的热点信息。理解并掌握这些基本用法对于开发高效、...
map-reducer-python
03-20
MapReduce是一种分布式计算模型，由Google在2004年提出，主要用于处理和生成大规模数据集。这个模型将大型任务分解为两个主要阶段：Map（映射）和Reduce（归约），并能在大量计算机节点上并行执行，从而极大地提高了...
hadoop自定义类型编程
04-29
本教程将深入探讨如何在MapReduce作业中创建和使用自定义数据类型，以更好地适应特定业务场景。 一、自定义类型的重要性 在大数据处理中，原始数据往往包含了丰富的结构和信息，这些信息可能无法直接用Hadoop的基础...
hard-reducer:类型友好的减速器助手
04-26
npm install hard-reducer --save# oryarn add hard-reducer概念类型安全界面避免多余的type字符串定义保持reducer接口(State, Action) => State与redux.combineReducers()一起使用的(State, Action) => State 处理...
MapReduce程序编写
unhurried人生——冕临的博客
09-17 2725
Hadoop支持多种语言开发MapReduce程序，但是对JAVA语言的支持最好。编写一个MapReduce程序需要新建三个类：Mapper类、Reduce类、驱动类。Mapper类何Reduce类也可以作为内部类放在程序执行主类中。
MapReducer的基础实现(WordCount)
最新发布
w156236的博客
04-15 658
总的来说，这段代码创建了另一个单词计数的 MapReduce 作业，并在指定的输入路径读取数据，然后将结果输出到指定的输出路径，并且在作业执行完成后删除输出路径中的文件。总体来说，这段代码的作用是对输入文本进行简单的计数操作，输出结果是 "The num of words" 对应的值为 1，表示每个单词出现的次数。总体来说，这段代码的作用是将输入的文本数据按单词分割并进行计数，输出格式为（单词，计数）的键值对。处理后，将结果输出到指定的输出路径中，并在作业执行完成后删除输出路径中的文件。
MapReduce编程规范及示例编写
凉茶铺的博客
10-01 2042
介绍了MapReduce编程规范及示例编写。
MapReduce编程(入门篇)
落叶翩翩的CSDN博客
09-09 2760
一. MapReduce 编程模型 还是以一个经典的图片来说明问题. 1. 首先, 我们能确定我们有一份输入, 而且他的数据量会很大 2. 通过split之后, 他变成了若干的分片, 每个分片交给一个Map处理 3. map处理完后, tasktracker会把数据进行复制和排序, 然后通过输出的key 和value进行 partition的划分, 并把partition相同的map输
MapReduce编程模型4——Reducer简介
MAYIBO—BG的专栏
02-06 924
概述 Reducer 用以将共享同一个 key 的一组中间值缩减为一组较小的值。（Reduces a set of intermediate values which share a key to a smaller set of values.） Reducer 的实现类可以通过 JobContext.getConfiguration() 方法来访问的Job的配置对象 Configurati...
Hadoop学习笔记：MapReduce框架详解
Hello World!
02-06 1171
http://blog.jobbole.com/84089/ 原文出处： 夏天的森林   欢迎分享原创到伯乐头条 开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术
Hadoop（十七）之MapReduce作业配置与Mapper和Reducer类
a878787877的专栏
10-27 1005
前言 　　前面一篇博文写的是Combiner优化MapReduce执行，也就是使用Combiner在map端执行减少reduce端的计算量。 一、作业的默认配置 　　MapReduce程序的默认配置　　 1）概述 　　在我们的MapReduce程序中有一些默认的配置。所以说当我们程序如果要使用这些默认配置时，可以不用写。 　　 　　我们的一个MapReduce程序一定会有M...
Hadoop中maper和reducer数目的调节
Skywalker
11-10 1597
参考资料
hadoop作业调优参数整理及原理
jackfor001的专栏
02-18 958
1 Map side tuning参数1.1 MapTask运行内部原理<br /><br />当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutputBuffer，即上图的buffer in memory），map会将已经产生的部分结果先写入到该buffer中
前端 如何实现map和reducer方法？
05-30
在前端开发中，map和reduce通常用于对数组进行操作，而不是分布式计算。以下是JavaScript中数组的map和reduce方法的用法： 1. map方法：map方法会遍历数组中的每个元素，并将每个元素传递给回调函数进行处理。回调...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值