hadoop之Combiners编程

每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。

combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。

如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。

注意：Combiner的输出是Reducer的输入，如果Combiner是可插拔的，添加Combiner绝不能改变最终的计算结果。所以Combiner只应该用于那种Reduce的输入

key/value与输出key/value类型完全一致，且不影响最终结果的场景。比如累加，最大值等。

有无combiner的对比图：

代码示例（其他代码可以参考博客http://blog.csdn.net/vinsuan1993/article/details/60969650）：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class WordCount {

	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		Configuration conf = new Configuration();
		
//		conf.set("mapreduce.input.fileinputformat.split.maxsize", "" + 64*1024*1024);
//		conf.set("mapreduce.input.fileinputformat.split.minsize", "" + 256*1024*1024);
		
		Job job = Job.getInstance(conf);
		//设置jar
		job.setJarByClass(WordCount.class);
		
		//设置Mapper相关的属性
		job.setMapperClass(WCMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(LongWritable.class);
		FileInputFormat.setInputPaths(job, new Path(args[0]));//words.txt
		
		//设置Reducer相关属性
		job.setReducerClass(WCReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		//添加combiner
		job.setCombinerClass(WCReducer.class);
				
		//提交任务
		job.waitForCompletion(true);
	}

}

小结：

1、如果combiner是可插拔的，我们可以推出combiner的功能和reducer的功能是一样的；

2、combiner的功能可以跟reducer的功能不一样，比如可以用combiner来过滤数据；