一、前言
在某些情况下,Map函数会产生许多中间数据,而且都是重复的,为了减少reducer的输入提高reducer性能,我们往往需要一个中间程序来合并Map的输入,这时候可以利用
combinerclass来有效减少网络传输的数据量。
二、WordCount 的CombinerClass
原理很简单:例如有一个map中(”hello",1)有10000个,传输到reducer端的确没什么必要,那么我们合并一个变成(“hello",10000)就ok了
package hadoop.v3;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
import org.hai.hdfs.utils.HDFSUtils;
/**
* @author : chenhaipeng
* @date : 2015年9月6日 上午2:00:50
*/
public class WordCountNewAPI extends Configured implements Tool {
public static class Map extends Mapper<LongWritable, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text("UTF-8");
/* (non-Javadoc)
*