combiner

在某些情况下,允许中间结果key重复会占据相当的比重,并且用户定义的reduce函数

满足结合律和交换律.一个很好的例子就是在2.1部分的词统计程序.因为词频率倾向于一个zipf分布(齐夫分布),每个map任务将产生成百 上千个这样的记录<the,1>.所有的这些计数将通过网络被传输到一个单独的reduce任务,然后由reduce函数加在一起产生一个数 字.我们允许用户指定一个可选的combiner函数,先在本地进行合并一下,然后再通过网络发送.

在每一个执行map任务的机器上combiner函数被执行.一般的,相同的代码被用在 combiner和reduce函数.在combiner和reduce函数之间唯一的区别是MapReduce库怎样控制函数的输出.reduce函数 的输出被保存最终输出文件里.combiner函数的输出被写到中间文件里,然后被发送给reduce任务.

部分使用combiner可以显著的提高一些MapReduce操作的速度.附录A包含一个使用combiner函数的例子.

转载于:https://www.cnblogs.com/baoendemao/p/3804722.html