partitioner得到对应的reduce

我们知道每条数据在经过Map端的处理之后都会一个对应的partition号,从而被copy到指定号的Reduce中

partition区分得到对应的reducer号:collector.collect(key,value, partitioner.getPartition(key, value, partitions))

其中partitions的值这么得到:partitions = jobContext.getNumReduceTasks()

getNumReduceTasks()的默认值是1,getInt(JobContext.NUM_REDUCES, 1)

public int getNumReduceTasks() { return getInt(JobContext.NUM_REDUCES, 1);}

partitions的值分为两种情况:

1.partitions>1时,通过反射得到partitioner

partitioner =(org.apache.hadoop.mapreduce.Partitioner<K,V>)  ReflectionUtils.newInstance(jobContext.getPartitionerClass(),job)

getPartitionerClass()返回值是conf.getClass(PARTITIONER_CLASS_ATTR, HashPartitioner.class)

默认是HashPartitioner实现,getPartition()的实现如下:

public int getPartition(K key, V value, int numReduceTasks) {

//按位与&操作是为了消除符号位

//注意:Java中的基本数据类型都是有符号的

    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;

}

2.partitions<=1时,直接返回0

Partitioner类的定义如下,只有一个抽象方法

此类的作用是:划分key空间,Partitioner控制了map中间输入结果key的划分,通常使用一个hash

函数,key值被用来得到划分,分区的总数目等于reducetask的数目。

可以通过实现Configurable接口来使Partitioner得到Job的配置

public abstract class Partitioner<KEY, VALUE> {

 

public abstract int getPartition(KEY key, VALUE value, int numPartitions);

 

}

Hadoop自身提供的Partitioner有:

BinaryPartitioner

DraftPartitioner

FirstPartitioner

HashPartitioner

IndexPartitioner

KeyFieldBasedPartitioner

SimplePartitioner

SleepJobPartitioner

TotalOrderPartitioner

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值