【Hadoop】【 MapReduce】【shuffle机制 】【03】 Combiner

Combiner

• Combiner 是MapReduce程序中，Mapper 和 Reducer 之外的一种组件
• Combiner 的父类就是Reducer，因此Combiner本身也是做聚合使用的
• Combiner 和Reducer的核心区别在于：
  Combiner在每一个MapTask的屁股做聚合
  Reduce是对所有MapTask汇聚在一起做聚合
• Combiner 就是预聚合，对MapTask局部汇总，减少网络IO
• Combiner的使用是有业务场景的，预聚合不影响整体业务输出的时候才可以使用；
  
• Combiner的输入kv就是Mapper输出的kv，并且和Reducer的kv是一样的
• Combiner的工作时机在MapTask溢写到磁盘前；

自定义Combiner实现步骤

自定义一个Combiner继承Reducer，重写Reduce方法：

public class WordcountCombiner extends Reducer<Text, IntWritable, Text,IntWritable>{

	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {

        // 1 汇总操作
		int count = 0;
		for(IntWritable v :values){
			count += v.get();
		}

        // 2 写出
		context.write(key, new IntWritable(count));
	}
}

在Job驱动类中设置：

job.setCombinerClass(WordcountCombiner.class);

Combiner wordcount优化实操

需求
统计过程中对每一个MapTask的输出进行局部汇总，以减小网络传输量即采用Combiner功能

原理：在maptask进行预聚合，不影响求和的逻辑

方案一 增加一个WordcountCombiner类继承Reducer

package com.atguigu.mr.combiner;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class WordcountCombiner extends Reducer<Text, IntWritable, Text, IntWritable>{

IntWritable v = new IntWritable();

	@Override
	protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

        // 1 汇总
		int sum = 0;

		for(IntWritable value :values){
			sum += value.get();
		}

		v.set(sum);

		// 2 写出
		context.write(key, v);
	}
}

在WordcountDriver驱动类中指定Combiner

// 指定需要使用combiner，以及用哪个类作为combiner的逻辑
job.setCombinerClass(WordcountCombiner.class);

方案二 将WordcountReducer作为Combiner在WordcountDriver驱动类中指定

Combiner和Reducer逻辑是一样的，可以使用这种方案；

// 指定需要使用Combiner，以及用哪个类作为Combiner的逻辑
job.setCombinerClass(WordcountReducer.class);

---