Combiner

Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一。
Combiner是MR程序中Mapper和Reducer之外的一种组件
Combiner组件的父类就是Reducer
Combiner和Reducer对的区别
在于运行的位置
Reducer是每一个接收全局的MapTask所输出的结果
Combiner是在maptask的节点中运行

每一个map都会产生大量的本地输出,Combiner的作用就是对map端输出的结果先做一次合并
以较少在map和reduce节点中的数据传输量

Combiner的存在就是提高当前网络IO传输的性能,也是MapReduce的一种优化手段

实现自定义Combiner的
1.因为原码中的combiner是继承于Reducer,我们做需要使用自己的Combiner就需要继承Reducer并重写reduce方法
2.job中设置 job.setcombinerClass(自定义Combiner的类)
ps:需要注意一个点就是Combiner就是一次Recucer类中reduce方法的实现,所以这里的kv需要和Recucer的kv相同
实际开发一定是先实现Mapper之后知道了Kv然后在根据需要实现自定义的Combiner定义中kv

public class WCC extends Reducer<Text, Text, Text, Text>{
    //在Mapper端实现的业务逻辑
	@Override
	protected void reduce(Text key, Iterable<Text> values, Context context)throws IOException, InterruptedException {
	     // 因为Combiner就相当于在Mapper实现了reduce方法
		//所以逻辑和实际Recucer中的reduce方法一致的
		int  sum = 0;
		for(Text t : values) {
			sum += Integer.parseInt(t.toString());
		}
		context.write(key, new Text(sum+""));
	}

}