Hadoop高级编程之:Combiner,对MR程序进行优化。
1.Combiner的本质就是Reducer。
2.是执行在Map端的Reducer。
3.程序中是否使用Combiner不能影响正常的Map到Reduce的数据传输;其实就是Combiner数据输入的K和V的数据类型与其数据输出的K和V的数据类型一致。【数据从Map交给Reduce的时候,Map的输出K和V的数据类型与Reduce输入的K和V的数据类型一致。】
4.如果程序中的Reducer的数...
原创
2019-03-03 13:33:19 ·
278 阅读 ·
0 评论