本文介绍了Combiner组件在MapReduce中的作用，如何在Mapper任务后进行局部聚合以减少网络I/O，并提供了自定义Combiner的示例和优化实践。重点讨论了Combiner与Reducer的区别，以及如何在Wordcount场景中有效利用它们来提高性能。
Combiner
- Combiner 是MapReduce程序中，Mapper 和 Reducer 之外的一种组件
- Combiner 的父类就是Reducer，因此Combiner本身也是做聚合使用的
- Combiner 和Reducer的核心区别在于：
Combiner在每一个MapTask的屁股做聚合
Reduce是对所有MapTask汇聚在一起做聚合 - Combiner 就是预聚合，对MapTask局部汇总，减少网络IO
- Combiner的使用是有业务场景的，预聚合不影响整体业务输出的时候才可以使用；
- Combiner的输入kv就是Mapper输出的kv，并且和Reducer的kv是一样的
- Combiner的工作时机在MapTask溢写到磁盘前；
自定义Combiner实现步骤
自定义一个Combiner继承Reducer，重写Reduce方法：
public class WordcountCombiner extends Reducer<Text, IntWritable, Text,IntWritable>{
@Override
protected void reduce(Text key, Iterable<IntWritable> values,
最低0.47元/天 解锁文章
扫一扫
1414
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
