Combiner类和Partitioner类——hadoop

一、Combiner类

1、Hadoop框架使用Mapper将数据处理成一个个<key, value>键值对,再对其进行合并和处理,最后使用Reduce处理数据并输出结果

2、上述过程会遇到一些瓶颈,比如: 在做词频统计的时候,大量具有相同主键的键值对数据如果直接传送个Reduce节点会引起较大的网络带宽开销。可以对每个Map节点处理完成的中间键值对做一个合压缩,即把那些主键相同的键值对归并为该一个键名下的一组数值,这样做不仅可以减轻网络压力,同样也可以大幅度提供程序的效率。

3、Hadoop通过在Mapper类结束后,传入Reduce节点之前使用一个Combiner类来解决相同主键键值对的合并处理。Combiner的作用主要是为了合并和减少Mapper的输出从而减少网络带宽和Reduce节点上的负载。如果我们定义一个Combiner类、MapReducer框架会使用他对中间数据进行多次的处理

4、Combiner类在实现上类似于Reduce类。事实上他就是一个与Reducer类一样。继承自Reducer基类的子类。Combiner的作用知识为了解决网络通信性能问题,因此使用不使用Combiner对结果应该是没有任何影响的。为此,需要特别注意的是,程序设计时,为了保证使用了Combiner后完全不影响Reducer的处理和最终结果,Combiner不能改变Mapper类输出的中间键值对的数据类型。

5、如果Reducer只运行简单的分布式的聚集方法,例如最大值、最小值或者计数,由于这些运算与Combiner类要做的事情是完全一样的,因此在这种情况下可以直接使用Reducer类作为Combiner使用,否则将会出现完全错误的结果。在这种情况下,需要定制一个专门的Combiner类来完成合并处理。

二、Partitioner类

1、为了避免Reduce计算过程中不同Reduce节点间存在数据相关性,需要一个Partition过程。其原因是一个Reduce节点所处理的数据可能会来自多个Map节点,因此Map节点输出的中间结果需使用一定的策略进行合适的分区Partitioner处理,保证具有数据相关性的数据发送到同一个Reduce节点,这样既可避免Reduce计算过程中访问其他的Reduce节点,进而解决数据相关性问题

2、Partitioner用来控制Map输出的中间结果键值对的划分,分区总数与作业的Reduce任务的数量是一样的。

3、Hadoop框架自带了一些默认的HashPartitioner类,默认情况下,hadoop对<key , value>键值对中的key取hash值并按Reducer数目取模来确定怎样分配给相应的Reducer。Hadoop使用HashPartitioner类来执行这一操作。但是,有时候HashPartitioner并不能完成我们需要的功能。这时需要由程序员定制一个Partitioner类。

4、定制Partitioner, 先继承Partitioner类,并重载它的getPartition()方法,一个定义的Partitioner只需要实现两个方法: getPartition()方法和configure()方法。getPartition()方法返回一个0到Reduce数目之间的整形值来确定将<key, value>键值对送到哪一个Reducer中,而它的输入参数除了key和value之外还有一个numPartitions表示总共的划分的个数;而configue()方法使用 Hadoop Job Configuration配置所使用的Partitioner类。定制Partitioner类的示例代码如下:

public class EdgePartitioner implements Partitioner<Edge , Writable>{
    public int getPartition(Edge key , Writable value, int numPartitions)
         return new long(key.getDepartureNode()).hashCode()%numPartitions;
    }
    public void configure(JobConf conf){}
}
也可以直接继承一个已有的Partitioner类,然后重载其getPartition()方法,示例代码如下:

Class NewPartitioner extends HashPartitioner<K, V>{
//override the method
    getPartition(K key, V value, in numReduceTasks){
//<term, docid> =>term
        term = key.toString().split(",")[0];
     super.getPartition(term ,value,numReduceTasks);
    }

并在Job中设置新的Partitioner类
Job.setPartitionerClass(NewPartitioner);
}



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值