partitioner得到对应的reduce

我们知道每条数据在经过Map端的处理之后都会一个对应的partition号,从而被copy到指定号的Reduce中

partition区分得到对应的reducer号:collector.collect(key,value, partitioner.getPartition(key, value, partitions))

其中partitions的值这么得到:partitions = jobContext.getNumReduceTasks()

getNumReduceTasks()的默认值是1,getInt(JobContext.NUM_REDUCES, 1)

public int getNumReduceTasks() { return getInt(JobContext.NUM_REDUCES, 1);}

partitions的值分为两种情况:

1.partitions>1时,通过反射得到partitioner

partitioner =(org.apache.hadoop.mapreduce.Partitioner<K,V>)  ReflectionUtils.newInstance(jobContext.getPartitionerClass(),job)

getPartitionerClass()返回值是conf.getClass(PARTITIONER_CLASS_ATTR, HashPartitioner.class)

默认是HashPartitioner实现,getPartition()的实现如下:

public int getPartition(K key, V value, int numReduceTasks) {

//按位与&操作是为了消除符号位

//注意:Java中的基本数据类型都是有符号的

    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;

}

2.partitions<=1时,直接返回0

Partitioner类的定义如下,只有一个抽象方法

此类的作用是:划分key空间,Partitioner控制了map中间输入结果key的划分,通常使用一个hash

函数,key值被用来得到划分,分区的总数目等于reducetask的数目。

可以通过实现Configurable接口来使Partitioner得到Job的配置

public abstract class Partitioner<KEY, VALUE> {

 

public abstract int getPartition(KEY key, VALUE value, int numPartitions);

 

}

Hadoop自身提供的Partitioner有:

BinaryPartitioner

DraftPartitioner

FirstPartitioner

HashPartitioner

IndexPartitioner

KeyFieldBasedPartitioner

SimplePartitioner

SleepJobPartitioner

TotalOrderPartitioner

在MapReduce中,Partitioner(分区器)用于将Map任务的输出结果分配到对应Reduce任务上进行处理。它根据键的哈希值将键值对划分到不同的分区,确保具有相同键的键值对被发送到同一个Reduce任务进行处理。 下面是一个简单的例子来说明Partitioner的作用: 假设我们有一个文本文件,其中包含了很多单词。我们想要计算每个单词在文件中出现的次数。在Map阶段,我们可以将每个单词作为键,将出现次数作为值进行映射。接下来,在Reduce阶段,我们可以将相同的单词键进行合并,并计算它们的总出现次数。 在这个过程中,Partitioner起到了关键的作用。它决定了键值对将被发送到哪个Reduce任务进行处理。Partitioner使用键的哈希值来决定分区。默认情况下,MapReduce框架使用哈希函数来生成键的哈希值,并通过取模运算将哈希值映射到一个特定的分区。 举个例子,假设我们有以下文本输入: ``` Hello world Hello mapreduce Hello hello ``` 在Map阶段,我们将每个单词作为键,将出现次数(1)作为值进行映射: ``` <Hello, 1> <world, 1> <Hello, 1> <mapreduce, 1> <Hello, 1> <hello, 1> ``` 然后,Partitioner会根据键的哈希值将键值对划分到不同的分区。假设我们有3个Reduce任务,Partitioner可以使用键的哈希值对3取模,将键值对分配到不同的分区: ``` Partition 1: <Hello, 1> <world, 1> Partition 2: <Hello, 1> <mapreduce, 1> Partition 3: <Hello, 1> <hello, 1> ``` 最后,在Reduce阶段,每个Reduce任务接收到对应的分区数据,可以对相同的单词键进行合并,并计算它们的总出现次数。 通过Partitioner,MapReduce框架可以将相同键的键值对发送到同一个Reduce任务,确保相同键的聚合操作在同一个任务上进行处理,从而提高作业的执行效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值