hadoop MapReduce自定义分区partition的作用和用法

最新推荐文章于 2024-06-29 23:33:29 发布
最新推荐文章于 2024-06-29 23:33:29 发布
阅读量6.8k 收藏 10
点赞数 1
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wo198711203217/article/details/80621738
版权

背景

在Hadoop的MapReduce过程中，每个map task处理完数据后，如果存在自定义Combiner类，会先进行一次本地的reduce操作，然后把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个reducer节点，默认使用的是HashPartitioner，其核心代码如下：

public class HashPartitioner<K, V> extends Partitioner<K, V> {

  /** Use {@link Object#hashCode()} to partition. */
  public int getPartition(K key, V value,
                          int numReduceTasks) {
    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
  }

}

上面的getPartition函数的作用：
1、获取key的哈希值
2、使用key的哈希值对reduce任务数求模
3、这样做的目的是可以把(key,value)对均匀的分发到各个对应编号的reduce task节点上，达到reduce task节点的负载均衡。

上面的代码只是实现了(key,value)键值对的均匀分布，但是无法实现如下需求：
1、假设输入的数据文件有4个，里面包含各个部门各个季度的销售额
2、使用mapreduce程序进行统计各个部门全年销售额，同时每个部门对应一个输出文件

由于输出的文件是区分数据类型的（部门类型），所以这个时候就需要我们自定义partition，分别把各个部门的数据分发到各自的reduce task上。

自定义分区

自定义分区很简单，我们只需要继承抽象类Partitioner，重写getPartition方法即可，另外还要给任务设置分区：job.setPartitionerClass()，就可以了。
注意：
自定义分区的数量需要和reduce task的数量保持一致。

代码演示

1、准备数据

[hadoop@hadoop1 ~]$ cat jidu1.txt 
研发部门        100
测试部门        90
硬件部门        92
销售部门        200
[hadoop@hadoop1 ~]$ cat jidu2.txt 
研发部门        200
测试部门        93
硬件部门        95
销售部门        230
[hadoop@hadoop1 ~]$ cat jidu3.txt 
研发部门        202
测试部门        92
硬件部门        94
销售部门        231
[hadoop@hadoop1 ~]$ cat jidu4.txt 
研发部门        209
测试部门        98
硬件部门        99
销售部门        251
[hadoop@hadoop1 ~]$

2、上传到hdfs上

[hadoop@hadoop1 ~]$ hdfs dfs -put jidu1.txt /jidu/input
18/06/08 19:45:45 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[hadoop@hadoop1 ~]$ hdfs dfs -put jidu2.txt /jidu/input
18/06/08 19:45:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[hadoop@hadoop1 ~]$ hdfs dfs -put jidu3.txt /jidu/input
18/06/08 19:45:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[hadoop@hadoop1 ~]$ hdfs dfs -put jidu4.txt /jidu/input
18/06/08 19:46:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

[hadoop@hadoop1 ~]$ hdfs dfs -ls /jidu/input
18/06/08 19:46:43 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 4 items
-rw-r--r--   1 hadoop supergroup         66 2018-06-08 19:45 /jidu/input/jidu1.txt
-rw-r--r--   1 hadoop supergroup         66 2018-06-08 19:45 /jidu/input/jidu2.txt
-rw-r--r--   1 hadoop supergroup         66 2018-06-08 19:45 /jidu/input/jidu3.txt
-rw-r--r--   1 hadoop supergroup         66 2018-06-08 19:46 /jidu/input/jidu4.txt

3、编写mapreduce程序
JiduMapper.java:

package com.demo;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class JiduMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
    @Override
    protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, IntWritable>.Context context)
            throws IOException, InterruptedException {
        // TODO Auto-generated method stub
        String line=value.toString();
        String[] ss=line.split("\t");

        context.write(new Text(ss[0]), new IntWritable(Integer.parseInt(ss[1])));
    }
}

JiduReducer.java:

package com.demo;

import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class JiduReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values,
            Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        // TODO Auto-generated method stub
        int sum=0;
        for(IntWritable value:values)
        {
            sum=sum+value.get();
        }
        context.write(key, new IntWritable(sum));
    }
}

JiduPartitioner.java:

package com.demo;

import org.apache.hadoop.mapreduce.Partitioner;

public class JiduPartitioner<K, V> extends Partitioner<K, V>{

    @Override
    //自定义partition的数量需要和reduce task数量保持一致
    public int getPartition(K key, V value, int numPartitions) {
        // TODO Auto-generated method stub
        String dname=key.toString();
        switch(dname)
        {
        case "研发部门":return 0;
        case "测试部门":return 1;
        case "硬件部门":return 2;
        case "销售部门":return 3;
        }
        return 4;
    }

}

JiduRunner.java:

package com.demo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class JiduRunner {
    public static void main(String[] args) throws Exception{
        // TODO Auto-generated method stub
        Configuration conf=new Configuration();
        Job job=Job.getInstance(conf);
        job.setJarByClass(JiduRunner.class);
        job.setMapperClass(JiduMapper.class);
        job.setReducerClass(JiduReducer.class);
        job.setCombinerClass(JiduReducer.class);
        job.setPartitionerClass(JiduPartitioner.class);

        job.setNumReduceTasks(4);//设置reduce task数量为4

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.setInputPaths(job, new Path("hdfs://192.168.16.2:9000/jidu/input"));

        FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.16.2:9000/jidu/output"));

        System.exit(job.waitForCompletion(true)?0:1);
    }
}

输出结果：

[hadoop@hadoop1 ~]$ hdfs dfs -ls /jidu/output
18/06/08 20:59:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 5 items
-rw-r--r--   3 hadoop supergroup          0 2018-06-08 20:56 /jidu/output/_SUCCESS
-rw-r--r--   3 hadoop supergroup         17 2018-06-08 20:56 /jidu/output/part-r-00000
-rw-r--r--   3 hadoop supergroup         17 2018-06-08 20:56 /jidu/output/part-r-00001
-rw-r--r--   3 hadoop supergroup         17 2018-06-08 20:56 /jidu/output/part-r-00002
-rw-r--r--   3 hadoop supergroup         17 2018-06-08 20:56 /jidu/output/part-r-00003
[hadoop@hadoop1 ~]$ hdfs dfs -cat /jidu/output/part-r-00000
18/06/08 20:59:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
研发部门        711
[hadoop@hadoop1 ~]$ hdfs dfs -cat /jidu/output/part-r-00002
18/06/08 20:59:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
硬件部门        380
[hadoop@hadoop1 ~]$ hdfs dfs -cat /jidu/output/part-r-00001
18/06/08 21:00:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
测试部门        373
[hadoop@hadoop1 ~]$ hdfs dfs -cat /jidu/output/part-r-00003
18/06/08 21:00:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
销售部门        912
[hadoop@hadoop1 ~]$

OK，到此自定义partition就完成了。

历史五千年
关注
专栏目录
MapReduce中实现自定义分区Partitioner
YF_Li123的博客
07-14 496
有时候在利用mapreduce进行任务计算时，需要按照不同的规则，将不同的结果输出到不同的文件中，以便将计算结果分类。比如有这样一组数据，我们需要根据第一列的编号进行划分，让相同编号的第二列内容输出到同一个文件中，不同编号的内容输出到不同的文件中。 0,hello world 1,hello ketty 2,hello tom 0,hello lyf 0,good morning 2,...
了解MapReduce之Partition分区的概念与执行过程（附例子）
maenlai0086的博客
03-07 543
Partition1.用户需求 在执行MR程序时我们可能想要将不同的数据放到不同的文件中。2.概念 partition是在map阶段完成后执行的。然后将分好区的数据传输到reduce端，也就是由Partitioner来决定每条记录应该送往哪个reducer节点。mapreduce中默认的分区是HashPartition类； 核心...
ORA-01775: 同义词的循环链问题
最新发布
Ruishine的博客
06-29 806
这里的table_owner是用户名， synonym_name是同义词名称， table_name 是表名。查询结果集中的这些同义词都会报“ ORA-01775: 同义词的循环链问题”。为了方便使用和管理，一般同义词是和表名或者视图名一致的。同义词对应的对象（表等）已删除，不存在了。ORA-01775: 同义词的循环链问题。2.查看与同义词同名对象已不存在的同义词。1.查看是否有名称不一致的同义词和对象。3.删除2中查询出的同义词。
Hadoop自定义分区Partitioner
lavimer
01-17 3579
一：背景 为了使得MapReduce计算后的结果显示更加人性化，Hadoop提供了分区的功能，可以使得MapReduce计算结果输出到不同的分区中，方便查看。Hadoop提供的Partitioner组件可以让Map对Key进行分区，从而可以根据不同key来分发到不同的reduce中去处理，我们可以自定义key的分发规则，如数据文件包含不同的省份，而输出的要求是每个省份对应一个文件。 二
6、MapReduce自定义分区实现
这里是Code猿学习的地方
12-11 326
MapReduce自带的分区器是HashPartitioner 原理：先对map输出的key求hash值，再模上reduce task个数，根据结果，决定此输出kv对，被匹配的reduce任务取走。 自定义分分区需要继承Partitioner，复写getpariton()方法 自定义分区类： 注意：map的输出是<K,V>键值对 其中int partitionIndex = dic...
在hadoop作业中自定义分区和归约
weixin_30685047的博客
02-11 96
当遇到有特殊的业务需求时，需要对hadoop的作业进行分区处理 那么我们可以通过自定义的分区类来实现 还是通过单词计数的例子，JMapper和JReducer的代码不变，只是在JSubmit中改变了设置默认分区的代码，见代码： //1.3分区 //设置自定义分区类 job.setPartitionerClass(JPartitioner.class); //设置分...
Hadoop自定义分区
筱白熊
03-19 522
Hadoop自定义分区 Hadoop组件partition简介 partition的作用是将mapper输出的key/value划分成不同的partition。每个reducer对应一个partition。 默认情况下，partitioner先计算key的散列值（hash值）。然后通过reducer个数执行取模运算： key.hashCode%(reducer个数)。这样能够随机地将整个key空间平均分发给每个reducer,同时也能确保不同 mapper产生的相同key能被分发到同一个reducer。
Hadoop多文件的自定义分区
蒯厅博客
05-06 183
测试数据 file1： 2 3 4 12 1212 121 23 232 45 545 7667 323 5454 7676 2323 655 12 1212 121 23 232 45 545 7667 323 5454 7676 2323 655 43333 334 34 22222 2222 33333 121 232 4 545 65 87 454 234 121 232 4 545 65...
17、MapReduce的分区Partition介绍
05-29
在分布式计算领域，Hadoop MapReduce 是一种广泛使用的框架，用于处理和生成大规模数据集。在MapReduce模型中，数据分区（Partition）是至关重要的一个环节，它决定了数据如何在不同的 Reduce Task 之间进行分布，...
hadoop mapreduce 自定义分组实现
qq_41854797的博客
05-20 574
hadoop mapreduce 自定义分组实现 任务要求：对流量日志进行流量统计，将不同省份的用户统计结果输出到不同的文件； 需要自定义改造两个机制： 1、改造分区的逻辑，自定义一个Partitioner类 2、自定义reducer task的并发任务数； 具体代码java： mapreduce 以及 主类代码： package com.cjp.areaPartitioner; impor...
3.1 Hadoop MapReduce与Hadoop YARN -Hadoop MapReduce
qq_40947195的博客
05-08 992
文章目录Hadoop MapReduce一、理解MapReduce思想二、Hadoop MapReduce设计构思（1）如何对付大数据处理场景（2）构建抽象编程模型（3）统一架构、隐藏底层细节三、Hadoop MapReduce介绍分布式计算概念MapReduce介绍MapReduce产生背景MapReduce特点MapReduce局限性MapReduce实例进程阶段组成MapReduce数据类型四、1Hadoop MapReduce官方示例概述示例说明案例：评估圆周率π（PI）的值案例：wordcount
Hadoop-Partition分区案例（分类处理）
TrueDei
02-02 1105
需求 将统计结果按照手机归属地不同省份输出到不同文件中（分区）。 1、输入数据 1,13736230513,192.196.100.1,www.atguigu.com,2481,24681,200 2,13846544121,192.196.100.2,,264,0,200 3,13956435636,192.196.100.3,,132,1512,200 4,13966251146,192.1...
Hadoop_MapReduce_Partition分区
weixin_43955488的博客
01-16 248
shuffle是通过分区partitioner 分配给Reduce，一个partition对应一个Reduce，Partitioner是shuffle的一部分。 1.默认Partition分区 默认分区是根据key的hashCode对ReduceTasks个数取模得到的，用户没法控制哪个key存储到哪个分区。 2.自定义Partition分区 因此若要按条件输出到不同文件中（分区），需要自定义类去继承Partitioner。 后两步设置一定要做，否则实现不了！ 3.分区总结 .
Hadoop之MapReduce的Partition分区
勇心在馨
01-29 880
数据处理后，如果想将处理的结果按照条件输出到不同的文件中（不同的文件的数据即是分区数据） 1、HashPartitioner（Hadoop自带的默认分区） 默认分区是根据key的HashCode对ReduceTasks个数取模得到的，用户无法控制具体的key存储到哪个分区 HashPartitioner源码如下： public class HashPartitioner<K, V&...
MapReduce的运作详解之分区
阳哥的博客
08-06 3688
分区的概念： Map阶段处理的数据，在向环形缓冲区写的时候 是以分区的方式写的 一般情况下，MR程序分区数有多少 reduceTask数量就应该有多少 ，一个分区的数据一个reduceTask去处理，reduceTask处理完成之后都会生成一个结果文件 ...
MapReduce的分区功能
枣泥馅的博客
04-14 1430
MapReduce的分区功能自我理解其实它最终的功能是为了计算出来的数据分区存储，方便日后查询更看 我们今天一个部门值来进行分区， MapReduce分区是从Map输出的K2阶段进入到Reducer时候在聚合相同key2的时候就开始进入分区 相同的Key2我们会把它放入到一个分区中，Reducer的主要作用为了聚合相同的Key2 要想做分区我们需要写出分区规则让reduce进行分区，需要实现Par...
Hadoop Mapreduce分区、分组、连接以及辅助排序（也叫二次排序）过程详解
键盘上舞动的青春
09-28 3231
1、MapReduce中数据流动    （1）最简单的过程：  map - reduce    （2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce    （3）增加了在本地先进性一次reduce（优化）过程：　map - combin(本地reduce) - partition -reduce 2、Mapred
Hadoop框架之——Mapreduce的Partition分区
weixin_45417821的博客
08-07 313
1、问题引出 要求将统计结果按照条件输出到不同文件中(分区)。比如:将统计结果按照手机归属地不同省份输出到不同文件中(分区) 2、默认Patitioner分区 public class HashPartitioner<K, V> extends Partitioner<K, V> { public int getPartition(K key, W value, int numReduceTasks){ return (key.hashCode() 6. Integer
hadoop自定义分区操作(Partitioner) 步骤1.3
01-01 1240
基于统计移动设备上网流量例子: MyMapper import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class MyMapper extends Mapper { protected v
mapreduce linux实例,Hadoop之MapReduce自定义二次排序流程实例详解
05-24
MapReduce是一种用于处理大规模数据集的编程模型和软件框架。Hadoop是一个基于MapReduce模型的分布式文件存储和处理系统。在Hadoop中，MapReduce被广泛用于数据处理和分析任务。 自定义二次排序是MapReduce中常见的一种需求，其目的是对MapReduce的输出进行排序。下面我们来介绍一下如何在Linux上使用Hadoop实现自定义二次排序。 1. 准备数据 首先我们需要准备一个数据集，假设我们有一个文本文件，每行包含两个字段，分别为学生姓名和成绩，中间用制表符分隔。例如： ``` Tom 80 Jerry 70 Mike 90 Lucy 85 ``` 2. 编写Mapper代码 自定义二次排序需要进行两次排序，第一次按照学生姓名进行排序，第二次按照成绩进行排序。因此，我们需要在Mapper中将学生姓名和成绩作为Key-Value输出。 我们可以使用TextPair类来存储学生姓名和成绩，代码如下： ``` public class SortMapper extends Mapper<LongWritable, Text, TextPair, Text> { private TextPair pair = new TextPair(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] fields = value.toString().split("\t"); pair.set(fields[0], fields[1]); context.write(pair, value); } } ``` 在这段代码中，我们首先将输入的一行数据拆分成学生姓名和成绩两个字段，然后使用TextPair类将它们作为Key输出，原始数据作为Value输出。 3. 编写Partitioner代码 Partitioner用于对Mapper的输出进行分区，以确保相同Key的数据被分配到同一个Reducer中。在自定义二次排序中，我们需要按照学生姓名进行分区，因此我们可以使用HashPartitioner来进行分区，代码如下： ``` public class SortPartitioner extends Partitioner<TextPair, Text> { public int getPartition(TextPair key, Text value, int numPartitions) { return (key.getFirst().hashCode() & Integer.MAX_VALUE) % numPartitions; } } ``` 在这段代码中，我们使用HashPartitioner将学生姓名的HashCode和Partition数取模来确定数据被分配到哪个Reducer中。 4. 编写GroupComparator代码 GroupComparator用于将相同学生姓名的数据分配到同一个Reducer中，代码如下： ``` public class SortGroupComparator extends WritableComparator { protected SortGroupComparator() { super(TextPair.class, true); } public int compare(WritableComparable a, WritableComparable b) { TextPair pair1 = (TextPair) a; TextPair pair2 = (TextPair) b; return pair1.getFirst().compareTo(pair2.getFirst()); } } ``` 在这段代码中，我们重载了compare方法，用于比较两个Key的学生姓名是否相同。 5. 编写SortComparator代码 SortComparator用于对每个Reducer中的数据进行排序，按照成绩从大到小排序，代码如下： ``` public class SortComparator extends WritableComparator { protected SortComparator() { super(TextPair.class, true); } public int compare(WritableComparable a, WritableComparable b) { TextPair pair1 = (TextPair) a; TextPair pair2 = (TextPair) b; int cmp = pair1.getFirst().compareTo(pair2.getFirst()); if (cmp != 0) { return cmp; } return -pair1.getSecond().compareTo(pair2.getSecond()); } } ``` 在这段代码中，我们首先比较两个Key的学生姓名是否相同，如果相同则比较成绩，否则直接返回姓名比较结果。 6. 编写Reducer代码 Reducer用于对Mapper的输出进行聚合和处理。在自定义二次排序中，我们只需要将每个学生的成绩按照从高到低的顺序输出即可，代码如下： ``` public class SortReducer extends Reducer<TextPair, Text, Text, Text> { public void reduce(TextPair key, Iterable<Text> values, Context context) throws IOException, InterruptedException { for (Text value : values) { context.write(key.getFirst(), value); } } } ``` 在这段代码中，我们首先输出学生姓名，然后按照原始数据的顺序输出。 7. 编写Driver代码 最后，我们需要编写Driver代码来启动MapReduce作业。代码如下： ``` public class SortDriver extends Configured implements Tool { public int run(String[] args) throws Exception { Job job = Job.getInstance(getConf()); job.setJarByClass(SortDriver.class); job.setMapperClass(SortMapper.class); job.setPartitionerClass(SortPartitioner.class); job.setGroupingComparatorClass(SortGroupComparator.class); job.setSortComparatorClass(SortComparator.class); job.setReducerClass(SortReducer.class); job.setMapOutputKeyClass(TextPair.class); job.setMapOutputValueClass(Text.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.setInputPaths(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); return job.waitForCompletion(true) ? 0 : 1; } public static void main(String[] args) throws Exception { int exitCode = ToolRunner.run(new SortDriver(), args); System.exit(exitCode); } } ``` 在这段代码中，我们首先创建一个Job实例，然后设置Mapper、Partitioner、GroupComparator、SortComparator和Reducer等类。最后，我们指定输入路径和输出路径，并启动作业。 以上就是在Linux上使用Hadoop实现自定义二次排序的流程。通过这个例子，您可以了解到如何在Linux系统上使用MapReduce编程模型和Hadoop分布式文件存储和处理系统来处理大规模数据集。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

历史五千年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值