Combiner组件详解

Combiner组件详解

1、Combiner是MR程序中Mapper和Reducer之外的一种组件，简称“小三”。

2、Combiner组件的父类就是Reducer

3、Combiner和Reducer的区别在于运行的位置，Combiner在每一个MapTask所在的节点运行，在Shuffle机制中运行两次，Reducer是接收全局所有Mapper的输出结果

4、Combiner的意义是对每一个MapTask的输出进行局部汇总，以减少网络传输量

5、Combiner能够应用的前提是不能影响最终的业务逻辑，而且，Combiner的输出kv应该跟Reducer的输入kv类型对应起来

6、Combiner的两次使用位置：第一次在缓冲区溢写文件时，对本溢写文件的同一个分区的数据进行合并，第二次是在溢写文件归并之后，因为缓冲区的数据到达80M时即开始溢写，所以每个溢写文件最大是80M，所以一个MapTask会产生多个溢写文件，而不同溢写文件如果数量多于3个，则会在触发一次Combiner，因为一个MapTask最终会生成一个大文件到磁盘上，所以Combiner可以减轻Reducer的负担。

7、Combiner可以自定义，自定义时继承一个Reducer类，并重写其中方法即可。

8、Combiner是可以选择的，可以选择不触发，设置后才会触发。