Combiners
怎么理解combiners?
1、每一个map可能会产生大量的输出,combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。
2、combiner最基本是实现本地key的归并,combiner具有类似本地的reduce功能。
3、如果不用combiner,那么,所有的结果都是reduce完成,效率会相对低下。使用combiner,先完成的map会在本地聚合,提升速度。
注意:Combiner的输出是Reducer的输入,如果Combiner是可插拔的(可有可无:可推测combiner和reduce功能一样),添加Combiner绝不能改变最终的计算结果。所以Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致,且不影响最终结果的场景。比如累加,最大值等。
运用combiner和不运用combiner比较:
不运用combiners
运用combiners
当然,combiners可以自定义combiners,完成一些自己想要的功能,比如过滤等等(功能和reduce不一样)。