MapReduce之Combiner、Partitioner（四）

最新推荐文章于 2022-04-11 16:20:16 发布
原创 最新推荐文章于 2022-04-11 16:20:16 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨MapReduce框架下的Combiner和Partitioner组件应用，通过具体案例解析如何优化数据处理流程，减少网络传输负担，提升程序执行效率。

文章目录

1. Combiner概述

假设有如下场景：

如果有10亿的数据，Mapper会生成一个10亿的key/value键值对在网络间进行传输，但如果我们的需求是求数据的最大值，则只需要Mapper输出它的最大值即可，这样做不仅可以减轻网络压力，同样可以大幅度的提升程序效率。

在MapReducer框架中，Combiner就是为了 避免map任务和reduce任务之间的数据传输而设置的，Hadoop允许用户针对map task的输出指定一个合并函数。即为了减少传输到Reduce中的数据量。主要是为了消减Mapper的输出数量，从而减少网络带宽和Reducer上的负载。我们可以把Combiner操作看成是一个在每个单独的节点上先做一次Reducer操作，其输入及输出的参数和Reducer是一样的。

2. Combiner的应用

2.1 Combiner的执行过程

在这里插入图片描述
我们可以在Map输出之后添加一步Combiner操作，先进行一次聚合，再由Reduce来处理，进而使得传输的数据减少，提高执行效率。

2.2 执行代码

package com.mapreduce.wordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.net.URI;


public class WordCountCombinerApp {
    private static final String INPUT_PATH = "hdfs://master001:9000/wordcount.txt";
    private static final String  OUTPUT_PATH = "hdfs://master001:9000/output1";

    public static class TokenizerMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        private final static IntWritable one = new IntWritable(1);
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException{
            String[] strs = value.toString().split(" "); // 将字符串按空格进行划分
            for(int i=0;i<strs.length;i++){
                context.write(new Text(strs[i]), one);
            }
        }
    }
    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
        protected void reduce(Text key, Iterable<IntWritable> values, Context context
        ) throws IOException, InterruptedException {
            int sum = 0;
            for(IntWritable value: values) {
                sum += value.get();
            }
            context.write(key, new IntWritable(sum));
        }
    }

    public static void main(String[] args) throws Exception{
        System.setProperty("HADOOP_USER_NAME", "hadoop");
        Configuration conf = new Configuration();
        //提升代码的健壮性
        final FileSystem fileSystem = FileSystem.get(URI.create(INPUT_PATH), conf);
        if(fileSystem.exists(new Path(OUTPUT_PATH))){
            fileSystem.delete(new Path(OUTPUT_PATH), true);
        }
        Job job = Job.getInstance(conf, "WordCount");
        //run jar class 主方法
        job.setJarByClass(WordCountCombinerApp.class);
        //设置map
        job.setMapperClass(TokenizerMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //设置Combiner处理类，其逻辑是可以直接使用Reducer
        job.setCombinerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        //设置input format
        FileInputFormat.addInputPath(job, new Path(INPUT_PATH));
        //设置output format
        FileOutputFormat.setOutputPath(job, new Path(OUTPUT_PATH));
        //提交job
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

2.3 效果截图

在这里插入图片描述

3. Partitioner概述

在计算时，有时需要把最终的输出数据分到不同的文件中，由于我们知道最终的输出数据是来自于Reducer任务，如果要得到多个文件，意味着有同样数量的Reducer任务在运行。然而Reducer的数据来自于Mapper任务，换句话说Mapper是要进行数据划分的，对于不同的数据分配给不同的Reducer任务，Mapper任务划分数据的过程叫做Partition，负责实现划分数据的类叫做Partitioner。

MapReduce默认的Partitioner是HashPartitioner。默认情况下，Partitioner先计算key的散列值（通常为md5值），然后通过Reducer个数执行取模运算：key.hashCode%（reducer个数）。这种方式不仅能够随机地将整个key空间平均分发给每个Reducer，同时也能确保不同Mapper产生的相同key能被分发到同一个Reducer。

4. Partitioner的应用

4.1 需求分析

分别统计：小米、华为、oppo、苹果，这四种手机的销售情况，每种类型手机统计数据单独存放在一个结果中。

4.2 上传测试文件

创建一个名为mobilephone的文件：
在这里插入图片描述
上传到HDFS：
在这里插入图片描述

4.3 执行代码

package com.mapreduce.wordcount;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Partitioner;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.net.URI;

public class PartitionerApp {
    private static final String INPUT_PATH = "hdfs://master001:9000/mobilephone";
    private static final String  OUTPUT_PATH = "hdfs://master001:9000/output2";

    public static class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException{
            String[] strs = value.toString().split("\t"); // 将字符串按空格进行划分
            context.write(new Text(strs[0]), new IntWritable(Integer.parseInt(strs[1])));
        }
    }
    public static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        protected void reduce(Text key, Iterable<IntWritable> values, Context context
        ) throws IOException, InterruptedException {
            int sum = 0;
            for(IntWritable value: values) {
                sum += value.get();
            }
            context.write(key, new IntWritable(sum));
        }
    }
    public static class MyPartitioner extends Partitioner<Text, IntWritable>{
        //转发给4个不同的reducer
        @Override
        public int getPartition(Text key, IntWritable value, int numPartitions) {
            if(key.toString().equals("xiaomi"))
                return 0;
            else if(key.toString().equals("huawei"))
                return 1;
            else if(key.toString().equals("oppo"))
                return 2;
            else
                return 3;
        }
    }

    public static void main(String[] args) throws Exception{
        System.setProperty("HADOOP_USER_NAME", "hadoop");
        Configuration conf = new Configuration();
        //提升代码的健壮性
        final FileSystem fileSystem = FileSystem.get(URI.create(INPUT_PATH), conf);
        if(fileSystem.exists(new Path(OUTPUT_PATH))){
            fileSystem.delete(new Path(OUTPUT_PATH), true);
        }
        Job job = Job.getInstance(conf, "PartitionerApp");
        //run jar class 主方法
        job.setJarByClass(PartitionerApp.class);
        //设置map
        job.setMapperClass(MyMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        //设置reduce
        job.setReducerClass(MyReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //设置partitioner
        job.setPartitionerClass(MyPartitioner.class);
        //设置4个reducer，每个分区一个
        job.setNumReduceTasks(4);
        //设置input format
        FileInputFormat.addInputPath(job, new Path(INPUT_PATH));
        //设置output format
        FileOutputFormat.setOutputPath(job, new Path(OUTPUT_PATH));
        //提交job
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

4.4 效果截图

输出了四个part文件：part-r-00000、part-r-00001、part-r-00002、part-r-00003
在这里插入图片描述
分别查看四个文件，如下结果：
在这里插入图片描述

Hadoop MapReduce Partitioner 使用教程
SmartSi
01-03 2063
A partitioner works like a condition in processing an input dataset. Partition阶段发生在Map阶段之后，Reduce阶段之前。partitioner的个数等于reducer的个数（The number of partitioners is equal to the number of reducers）。这就意味着一个p
[Hadoop]MapReduce中的Partitioner与Combiner
SmartSi
01-07 3402
Partitioners负责划分Maper输出的中间键值对的key，分配中间键值对到不同的Reducer。Maper输出的中间结果交给指定的Partitioner，确保中间结果分发到指定的Reduce任务。在每个Reducer中，键按排序顺序处理（Within each reducer, keys are processed in sorted order）。Combiners是MapReduce
MapReduce中的partitioner
weixin_34240520的博客
08-20 225
1.日志源文件: 1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 200 1363157995052 13826544101 5C-0E-8B-C7-F1-E0:CM...
Hadoop Mapreduce 中的Partitioner
u013230391的博客
08-13 296
Partitioner的作用的对Mapper产生的中间结果进行分片，以便将同一分组的数据交给同一个Reduce处理，Partitioner直接影响Reduce阶段的负载均衡。 MapReduce提供了两个Partitioner实现：HashPartitioner和TotalOederPartitioner。 HashPartitioner是默认实现，实现了一种基于哈希值的分片方法，代码如下： ...
mapreduce Partitioner
夜微凉的博客
08-31 269
description 航空数据由头部标题和数据部分组成,数据部分每行为一条记录,每列标示的信息与表头相对应,记录包含了某一年每个月的飞机飞行数据.现需将该文件中的记录按照月份划分为12个文件. file content Year,Month,DayofMonth,DayOfWeek,DepTime,CRSDepTime,ArrTime,CRSArrTime,UniqueCarrier,...
MapReduce优化: Combiner和Partitioner
大树叶 技术专栏
01-17 535
在hadoop Mapreduce优化技术中，总会涉及到Combiner和Partitioner，Combiner和Partitioner是用来优化MapReduce的。可以提高MapReduce的运行效率，下面就来谈谈这两种技术及其简单的使用。 1 Combiner技术 Combiner是一个本地化的reduce操作，它是map运算的后续操作，主要是在map计算出中间文件前做一...
基于MapReduce的词频统计程序及其重构、MapReduce编程之Combiner、Partitioner组件应用.zip
最新发布
03-13
《基于MapReduce的词频统计程序及其重构与MapReduce编程中的Combiner、Partitioner组件应用》 在当今大数据处理的领域中，Hadoop作为分布式计算框架的重要代表，以其高效、可扩展的特性受到了广泛关注。尤其在人工...
Hadoop系列之MapReduce Partitioner(26)
热门推荐
02-16 6万+
MapReduce Partitioner MapReduce Partitioner 是用来对 mapper 输出的数据进行分区的。partitioner 通过哈希函数对 Key 或者 Key 的子集求哈希值，哈希值相同的键值对将在同一个分区里面。分区的数量取决于 reduce 任务的数量。下面对 MapReduce Partitioner 详细介绍。 MapReduce Partitioner 在开始学习 MapReduce Partitioner 之前，你需要先理解一下 mapper、reducer
MapReduce词频统计与Combiner/Partitioner组件应用
该压缩包中的内容不仅涉及MapReduce的基本编程模型，还包括了对Combiner和Partitioner两个重要组件的应用实践，这两个组件对于优化MapReduce作业的执行效率至关重要。" 在深入探讨这些知识点之前，我们需要明确几个...
性能提升的关键：MapReduce中Combiner角色的6大使用技巧
MapReduce和Combiner的原理介绍 ## 1.1 MapReduce的核心概念 MapReduce是一种编程模型，用于处理大规模数据集的并行运算，最初由Google提出，并被广泛应用于Hadoop等大数据处理框架中。它将任务分为两个阶段：Map...
MapReduce 中的 Partitioner
Ran_记忆犹新的博客
05-19 345
package flow.partitioner; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop....
菜鸟先飞之Mapreduce（二）——combiner类、Partitioner
望、本归心的博客
07-05 429
combiner类 combiner是用来优化Mapreduce的，它可以提高Mapreduce的运行效率。在MapReduce作业运行过程中，通常每一个Map都会产生大量的本地输出，Combiner的作用就是在Map端对输出结果先做一次合并，以减少传输到Reduce端的数据量。 在上一个博客里我们使用MapReduce实现了词频统计，接下来，我们使用combiner进行下优化 1、新建一个WCCombiner类，代码直接复制WCReduce,中的代码就行，原因呢，很简单，因为combiner只有在数
MapReduce编程之Partitioner
29DCH的博客
10-03 501
Partitioner： 在MR中,Partitioner决定了MapTask输出的数据交由哪个Reduce Task处理 默认实现：分发的key的hash值对Reduce Task个数取模 假设数据如下所示： 每行内容为水果和其数量，现要求将同种类的水果放在一起，得到该种水果的总数量 编译运行 hadoop jar /home/zq/lib/HDFS_Test-1.0-SNAPSHOT.jar...
mapreduce编程模型之partitioner
菜皮的默默倾诉
09-29 369
Partitioner是一个mapreduce的顶级抽象类 用于决定map输出的kv键值对 如何按照job.setnumberruce(n)中设置的n个数进行分区 每个kv落在哪个分区之中 以及如何保证相同的key落在同一个分区中 只有相同的key落在同一个分区中 才能保证 这个相同的key可以被同一个reducer处理 上代码 public static class MyPartition
MapReduce之分区器(Partitioner)
波波烤鸭的博客
04-04 3094
Partitactioner   Partitioner 组件可以对 MapTask后的数据按Key进行分区，从而将不同分区的Key交由不同的Reduce处理。这个也是我们经常会用到的功能。 1.使用场景   比如上个案例中我们统计出来了每个用户的流量数据，那么我们接下来想把统计的用户数据根据不同的手机号输出到不同的文件中，那么这时使用分区器就非常合适了。 2.HashPartitioner   ...
MapReduce之分区器(Partitioner)，这份333页关于性能优化知识点的PDF你不能不看
m0_66784495的博客
04-11 1930
前言 在学习Java基础的过程中，泛型绝对算得上是一个比较难理解的知识点，尤其对于初学者而言，而且就算是已经有基础的Java程序员，可能对泛型的理解也不是那么透彻，属于那种看了明白，时间长了就忘的那种，究其根本，还是对泛型不够理解。 大部分人对泛型的认识：“基础知识，但是比较模糊” public class HashPartitioner<K2, V2> implements Partitioner<K2, V2> { public void configure(JobConf jo
Hadoop MapReduce中的Partitioner
精益求精
09-06 1060
Partitioners负责划分Maper输出的中间键值对的key，分配中间键值对到不同的Reducer。Maper输出的中间结果交给指定的Partitioner，确保中间结果分发到指定的Reduce任务。        在每个Reducer中，键按排序顺序处理（Within each reducer, keys are processed in sorted order）。Combiner
Mapreduce中的分区Partitioner
我们始终是路人
10-26 572
import java.util.HashMap;import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner;/** * K2 V2 对应的是map输出kv的类型 * @author * */ public class ProvincePartitioner extends Partit
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值