2.1.1 Hadoop map端的 Combiner

简单理解

combiner概念：
在map端，的局部合并(预聚合)

combiner好处：

1. 降低map合并的数据量。
2. 降低reduce拉取数据量的大小,降低网络IO。
3. 降低reduce端合并数据的次数。

描述

• 1.Combiner是MR程序中Mapper和Reduce之外的一种组件

• 2.Combiner组件的父类就是Reducer

• 3.Combiner和Reducer之间的区别在于运行的位置

• 4.Reducer是每一个接收全局的Map Task 所输出的结果

• 5.Combiner是在MapTask的节点中运行

• 6.每一个map都会产生大量的本地输出，Combiner的作用就是对map输出的结果先做一次合并，以较少的map和reduce节点中的数据传输量

• 7.Combiner的存在就是提高当前网络IO传输的性能，也是MapReduce的一种优化手段。