hadoop之MapReduce的shuffle的Combiner
Combiner合并
1)Combiner是MR程序中Mapper和Reducer之外的一种组件;
2)Combiner组件的父类就是Reducer;
3)Combiner和Reducer的区别在于运行的位置;
Combiner是在每一个MapTsk所在的节点运行;
Reducer是接受全局所有Mapper的输出结果;
4)Combiner的意义就是对每一个MapTask的输出进行局部汇总,以减小网络传输量。
5)Combiner能够应用的前提是不能影响最终的业务逻辑,而且,...
原创
2020-09-21 13:28:12 ·
98 阅读 ·
0 评论