Hadoop Combiner 合并

Hadoop Combiner 合并

1. 概念

1. Combiner是MR程序中Mapper和Reducer之外的一种组件。
2. Combiner组件的父类就是Reducer
3. Combiner和Reducer的区别在于运行的位置
   Combiner是在每一个MapTask所在的节点运行;
   Reducer是接收全局所有Mapper的输出结果；
4. Combiner的意义就是对每一个MapTask的输出进行局部汇总，以减小网络传输量。
5. Combiner能够应用的前提是不能影响最终的业务逻辑，而且，Combiner的输出kv应该跟Reducer的输入kv类型要对应起来。

2. 自定义 Combiner 实现步骤

1. 自定义一个 Combiner 继承 Reducer，重写 Reduce 方法

public class WordCountCombiner extends Reducer<Text, IntWritable, Text, 
IntWritable> {
 	private IntWritable outV = new IntWritable();
 	@Override
	 protected void reduce(Text key, Iterable<IntWritable> values, Context 
	context) throws IOException, InterruptedException {
 		int sum = 0;
 		for (IntWritable value : values) {
 			sum += value.get();
 		}
 
 		outV.set(sum);
 
 		context.write(key,outV);
 	} 
 }

2. job.setCombinerClass(WordCountCombiner.class);

job.setCombinerClass(WordCountCombiner.class);