java hadoop（六） hadoop mapreduce 规约Combiner案例

什么是规约Combiner：

每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能。

Combiner会在没一个maptask所在的节点运行。

 

这里我们以单词统计demo为例，加入一个Combiner，减少map->reduce的传输量。

 

 

编写Combiner代码：

 

package mapreduce;


import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**
 * 这里其实可以看出 Combiner也是Reducer的一种，只是工作的地方不一样
 */
public class MyCombiner extends Reducer<Text, LongWritable,Text,LongWritable> {
    @Override
    protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
        int count = 0;
        //遍历集合，将集合中的数字相加
        for(LongWritable value:values){
            count+=value.get();
        }
        context.write(key, new LongWritable(count));
    }
}

在主程序中使用Combiner: