Hadoop中的MapReduce框架原理、Combiner 合并案例实操

已于 2022-11-20 20:12:22 修改
阅读量962 收藏 11
点赞数 12
分类专栏： # Hadoop 文章标签： hadoop mapreduce 大数据
于 2022-10-06 09:24:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Redamancy06/article/details/127164772
版权

文章目录

13.MapReduce框架原理

13.3 Shuffle机制

13.3.9 Combiner 合并案例实操

13.3.9.1 需求

  统计过程中对每一个 MapTask 的输出进行局部汇总，以减小网络传输量即采用Combiner 功能。

13.3.9.1.1 数据输入
13.3.9.1.2 期望输出数据

  期望：Combine 输入数据多，输出时经过合并，输出数据降低。

13.3.9.2 需求分析

在这里插入图片描述
在这里插入图片描述创建一个combiner的文件夹，将wordcount里面3个java代码同时复制到combiner里面

13.3.9.3 案例实操-方案一
13.3.9.3.1 增加一个 WordCountCombiner 类继承 Reducer

在这里插入图片描述

package com.summer.mapreduce.combiner;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * @author Redamancy
 * @create 2022-10-04 17:21
 */
public class WordCountCombiner extends Reducer<Text, IntWritable, Text, IntWritable> {

    private IntWritable outV = new IntWritable();
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable value : values) {
            sum += value.get();
        }
        outV.set(sum);

        context.write(key, outV);
    }
}
13.3.9.3.2在 WordcountDriver 驱动类中指定 Combiner

在这里插入图片描述

// 指定需要使用combiner，以及用哪个类作为combiner的逻辑
job.setCombinerClass(WordCountCombiner.class);

package com.summer.mapreduce.combiner;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @author Redamancy
 * @create 2022-08-22 17:23
 */

public class WordCountDriver {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        //1 获取job
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        //2 设置jar包路径
        job.setJarByClass(WordCountDriver.class);

        //3 关联mapper和reduccer
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //4 设置map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //5 设置最终输出的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        // 指定需要使用combiner，以及用哪个类作为combiner的逻辑
        job.setCombinerClass(WordCountCombiner.class);

        //6 设置输入路径和输出路径
        FileInputFormat.setInputPaths(job, new Path("D:\\Acode\\Hadoop\\input\\inputhello"));
        //输出的路径为空，要是有该文件，则会报错
        FileOutputFormat.setOutputPath(job, new Path("D:\\Acode\\Hadoop\\output\\output1"));

        //7 提交job
        boolean result = job.waitForCompletion(true);

        System.exit(result ? 0 : 1);
    }
}

在这里插入图片描述使用combiner的input和output和materialized的大小

在这里插入图片描述不使用combiner的input和output和materialized的大小

13.3.9.4 案例实操-方案二

在这里插入图片描述

package com.summer.mapreduce.combiner;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * @author Redamancy
 * @create 2022-10-04 17:21
 */
public class WordCountCombiner extends Reducer<Text, IntWritable, Text, IntWritable> {

    private IntWritable outV = new IntWritable();
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable value : values) {
            sum += value.get();
        }
        outV.set(sum);

        context.write(key, outV);
    }
}

在这里插入图片描述

package com.summer.mapreduce.combiner;


import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * @author Redamancy
 * @create 2022-08-22 17:23
 */


/**
 * KEYIN, reduce阶段输入的key的类型：Text
 * VALUEIN, reduce阶段输入的value的类型：IntWritable
 * KEYOUT, reduce阶段输出的key的类型：Text
 * VALUEOUT,reduce阶段输出的kvalue的类型：IntWritable
 */
public class WordCountReducer extends Reducer<Text, IntWritable,Text,IntWritable> {
    private IntWritable outV = new IntWritable();
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {

        int sum = 0;
        //ha(1,1)
        //累加
        for (IntWritable value : values) {
            sum += value.get();
        }

        outV.set(sum);

        //写出
        context.write(key, outV);

    }
}

因为自定义的Combiner和Reducer的代码是一样的，所以可以调用Reducer作为Combiner

13.3.9.4.1 将 WordcountReducer 作为 Combiner 在 WordcountDriver 驱动类中指定

在这里插入图片描述

package com.summer.mapreduce.combiner;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @author Redamancy
 * @create 2022-08-22 17:23
 */

public class WordCountDriver {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        //1 获取job
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        //2 设置jar包路径
        job.setJarByClass(WordCountDriver.class);

        //3 关联mapper和reduccer
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //4 设置map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //5 设置最终输出的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        // 指定需要使用combiner，以及用哪个类作为combiner的逻辑
//        job.setCombinerClass(WordCountCombiner.class);
        // 不进入Reducer
//        job.setNumReduceTasks(0);

        //使用Reducer，而不使用自定义的combiner
        job.setCombinerClass(WordCountReducer.class);

        //6 设置输入路径和输出路径
        FileInputFormat.setInputPaths(job, new Path("D:\\Acode\\Hadoop\\input\\inputhello"));
        //输出的路径为空，要是有该文件，则会报错
        FileOutputFormat.setOutputPath(job, new Path("D:\\Acode\\Hadoop\\output\\output5"));

        //7 提交job
        boolean result = job.waitForCompletion(true);

        System.exit(result ? 0 : 1);
    }
}

在这里插入图片描述结果和前面几种情况是一致的，over！

13.3.9.5 不进入Reducer

在这里插入图片描述

package com.summer.mapreduce.combiner;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * @author Redamancy
 * @create 2022-08-22 17:23
 */

public class WordCountDriver {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        //1 获取job
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        //2 设置jar包路径
        job.setJarByClass(WordCountDriver.class);

        //3 关联mapper和reduccer
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //4 设置map输出的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //5 设置最终输出的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        // 指定需要使用combiner，以及用哪个类作为combiner的逻辑
        job.setCombinerClass(WordCountCombiner.class);
        // 不进入Reducer
        job.setNumReduceTasks(0);

        //6 设置输入路径和输出路径
        FileInputFormat.setInputPaths(job, new Path("D:\\Acode\\Hadoop\\input\\inputhello"));
        //输出的路径为空，要是有该文件，则会报错
        FileOutputFormat.setOutputPath(job, new Path("D:\\Acode\\Hadoop\\output\\output4"));

        //7 提交job
        boolean result = job.waitForCompletion(true);

        System.exit(result ? 0 : 1);
    }
}

在这里插入图片描述这个结果是带m，而使用Reducer的时候是带r

在这里插入图片描述

Redamancy_06
关注
  • 12
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
2.10 MapReduce文件合并
炫云云
03-28 2025
感谢你的阅读，专栏文章持续更新，希望感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！ 带你全面理解hadoop大数据。 包含： MRJOB 文件合并 需求描述 mrjob 实现 深耕于机器学习算法、深度学习、数据分析等领域，希望我这微不足道的知识能帮到您。
Hadoop_MapReduce_Combiner合并
weixin_43955488的博客
01-17 411
目录 1.自定义Combiner实现步骤 2.Combiner合并案例实操 1）需求 2）需求分析 3）案例实操-方案一 4）案例实操-方案二 1.自定义Combiner实现步骤 （a）自定义一个Combiner继承Reducer，重写Reduce方法 public class WordCountCombiner extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritabl.
Hadoop框架之——Mapreduce Combiner合并
weixin_45417821的博客
08-07 189
概述 (1) Combiner 是MR程序中Mapper和Reducer之外的- -种组件。 (2) Combiner组件的父类就 是Reducer。 (3) Combiner和Reducer的区别在 于运行的位置Combiner是在每一个MapTask所在的节点运行，Reducer是接收全局所有Mapper的输出结果; (4) Combiner的意 义就是对每一个 MapTask的输出进行局部汇总，以咸小网络传输量。 (5) Combiner能够应 用的前提是不能影响最终的业务逻辑，而且，Combiner
MapReduce处理小文件合并
qq_15076569的博客
11-18 3228
一：小文件合并几种方式： 1、 在数据采集的时候，客户端就将小文件或小批数据合成大文件再上传HDFS 2、 在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并 3、 在mapreduce处理时，可采用combineInputFormat提高效率 二：自定义InputFormat合并小文件 通过自定义实现FileInputFormat，设置读取小文件时不进行切片，且使用...
hadoop-mapreduce map端多表合并
datiechui20的博客
12-17 866
package com.atguigu.mapjoin; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import java.util.HashMap; import jav
Hadoop中MapReduce基本案例及代码（四）
01-07
Combiner 就相当于map后多reduce几次。 排序 如果想将mapreduce结果排序，需将排序对象作为键值。 案例：将利润求和后按照顺序排序 数据源 profit.txt 编号 | 姓名 | 收入 | 支出 1 ls 2850 100 2 ls 3566 200 3 ls...
Hadoop技术MapReduce工作原理共9页.pdf
最新发布
11-21
MapReduce是Apache Hadoop框架的核心组件之一，用于处理和生成大数据集。这个技术的主要目标是分布式计算，将大型数据集...通过理解MapReduce的工作原理和核心概念，我们可以更有效地利用Hadoop框架解决大数据问题。
HadoopMapReduce:数据集链接的Hadoop MapReduce实践问题
05-10
标题中的“Hadoop MapReduce:数据集链接的Hadoop MapReduce实践问题”表明我们将探讨如何在Hadoop MapReduce框架中处理数据集之间的连接操作。在大数据处理领域，数据集链接是常见的任务，例如用于合并来自不同来源...
Hadoop技术-MapReduce工作原理.pptx
11-02
MapReduce是Hadoop框架的核心组件之一，用于处理和生成大数据集。它遵循“分而治之”的策略，将大规模的数据处理任务分解为一系列可并行执行的子任务，分别是Map阶段和Reduce阶段。 **MapTask运行流程：** 1. **...
hadoop-mapreduce
11-15
Hadoop MapReduce是一种分布式计算框架，是Apache Hadoop生态系统的核心组成部分，主要用于处理和存储大规模数据集。这个项目是一个学习Hadoop MapReduce的实践项目，利用Maven构建，无需单独安装Hadoop环境，只需在...
java多个mapreduce_java-如何将多个Hadoop MapReduce作业合并为一个...
weixin_33647940的博客
02-16 255
我有大量的输入数据(这就是为什么我使用Hadoop的原因),并且可以通过各种MapReduce步骤解决多个任务,其中第一个映射器需要将所有数据作为输入.我的目标：尽快计算这些不同的任务.我目前让它们按顺序运行,每次读取所有数据.我认为将任务合并并执行它们的相似部分(例如将所有数据馈送到映射器)一次只会更快.我想知道是否以及如何合并这些任务.对于每个输入键/值对,映射器都可以发出“超级键”,其中包括...
MapReduce 中多表合并案例
Da.的博客
05-27 2550
数据准备 order.txt 1001 01 1 1002 02 2 1003 03 3 1004 01 4 1005 02 5 1006 03 6 pd.txt 01 小米 02 华为 03 格力 将商品信息表中数据根据商品 pid 合并到订单数据表中。最终数据形式： 需求 1： Reduce 端表合并（数据倾斜） 通过...
大数据开发：MapReduce排序和合并机制
shuimuzh123的博客
06-30 980
MapReduce作为Hadoop的核心计算引擎，算是学习当中必学的一个部分。虽然发展至今，MapReduce计算框架已经很少直接使用了，但是作为分布式并行计算的代表，还是值得学习。今天的大数据开发学习分享，我们就主要来讲讲MapReduce排序与合并机制。 WritableComparable排序 排序是MapReduce框架中最重要的操作之一。 MapTask和ReduceTask均会对数据按照key进行排序。该操作属于Hadoop的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是否需.
hadoop综合实验(对日志的处理mapreduce保存到csv)
THREEFUCT的博客
06-17 1026
综合实验：网站访问日志采集、处理及分析实验步骤 注：截图必须使用实验机的带水印截图功能，题目中要求截图但未提供的视为未做一、使用Flume导入日志数据数据文件下载地址： 新建一个待监控的文件夹，放入三个日志文件我这里是lhx1、（代码）创建flume配置，文件内容及部分属性注释(注意路径)： 2、（截图）运行flume配置的命令（运行前需启动hadoop）： 3、（截图）日志导入到hdfs后，查看hdfs目录内容： 4、（截图）选取一个文件查看前几条内容: 二、使用MapReduce对日志数据进行预处理1、
MapReduce实战-多表案例：Map端表合并(Distributedcache)
Movle
05-07 273
1.分析     适用于关联表中有小表的情形；     可以将小表分发到所有的map节点，这样，map节点就可以在本地对自己所读到的大表数据进行合并并输出最终结果，可以大大提高合并操作的并发度，加快处理速度。 2.实战案例： (1)先在驱动模块中添加缓存文件 DistributedCacheDriver.java pa...
大数据 MapReduce编程实践（1）编程实现文件合并和去重操作
热门推荐
gengmeng_的博客
05-09 2万+
标题 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录一、实验目的二、实验平台三. 实验内容和要求（1）编程实现文件合并和去重操作（2）编写程序实现对输入文件的排序（3）对给定的表格进行信息挖掘四、实验遇到的问题 一、实验目的 1.通过实验掌握基本的MapReduce编程方法； 2.掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。 二、实验平台 已经配置完成的Hadoop伪分布式环境。 三. 实验内容和要求 （1）编程实现文件合并和去重
MapReduce编程——文件的合并与去重
qq_55286545的博客
11-16 1万+
目录 一.问题描述 二.具体代码 三.具体操作 一.问题描述 对输入的多个文件进行合并，并剔除其中重复的内容，去重后的内容输出到一个文件中。 主要思路：根据reduce的过程特性,会自动根据key来计算输入的value集合，把数据作为key输出给reduce,无论这个数据出现多少次，reduce最终结果中key只能输出一次。 1.实例中每个数据代表输入文件中的一行内容，map阶段采用Hadoop默认的作业输入方式。将value设置为key，并直接输出。 map输出数据的key为...
MapReduce的编程开发-合并
Junds0的博客
11-20 2026
使用 reduce 端合并，在 map 方法中读取数据，通过不同文件将数据标明 key 值传入 reduce 端，reduce 通过 key 值不同去处理数据，将需要匹配的到的数据放入集合中，需要转换的数据匹配集合中的数据，达到替换操作。使用 map 端合并，先在 setup() 方法中读取文件,循环读取文件内容并切割，将切割后的数据存入集合中，在 map 方法中获取文件内容并切割，通过切割后的数据去匹配集合中的数据，达到替换操作。每一行数据（3列）分别表示: 学员id, 课程id, 成绩；
MapReduce处理两个文件合并重新显示
CC
12-28 4046
文件01 1 Beijing 2 Guangzhou 3 Shenzhen 4 xi’an 文件02 factoryname addressId BeiJing Red Star 1 ShenZhen Thunder 3 Guangzhou Honda 2 Beijing Rising 1 Guangzhou Development Bank 2 Tencent 3 Bank of ...
Hadoop MapReduce工作原理与wordcount案例解析
"mapreduce.pdf 是关于Hadoop MapReduce的深入解析文档，涵盖了MapReduce的基本概念、工作原理以及Hadoop自带的wordcount示例。文档强调在分析Hadoop MapReduce之前，理解其工作流程的重要性，并引用了一张清晰的...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Redamancy_06

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值