本文探讨了在MapReduce中，Combiner如何通过减少网络传输和Reducer负载来提高程序效率。Combiner针对Mapper输出进行局部聚合，其输入和Reduce的输入相同，输出和Map的输出相同。适用Combiner的条件是操作必须满足结合律。尽管并非所有作业都适合使用Combiner，但它在处理如求和、最大值等任务时能显著提升性能。
一、问题
1、如果我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输，但如果我们只是对数据求最大值，那么很明显的Mapper只需要输出它所知道的最大值即可。这样做不仅可以减轻网络压力，同样也可以大幅度提高程序效率。
2、使用专利中的国家用数据倾斜这个定义。这样的数据远远不是一致性的或者说平衡分布的，由于大多数专利的国家都属于美国，这样不仅Mapper中的键值对、中间阶段(shuffle)的键值对等，大多数的键值对最终会聚集于一个单一的Reducer之上，压倒这个Reducer，从而大大降低程序的性能。
二、解决方案
Mapreduce中的Combiner就是为了避免map任务和reduce任务之间的数据传输而设置的，Hadoop允许用户针对map task的输出指定一个合并函数。即为了减少传输到Reduce中的数据量。它主要是为了削减Mapper的输出从而减少网络带宽和Reducer之上的负载。
数据格式转换：
最低0.47元/天 解锁文章
796
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
