Hadoop-MapReduce-Combiners

Hadoop-MapReduce-Combiners

Combiners的作用：
combiners是对Map的每次输出进行合并，然后传给Reduce，从而减少Map输出到Reduce的输出量，提升效率。
combiners是对每个map的输出进行一次合并，例如
Map1:(1997,20),(1997,10),(1997,50)
Map2:(1997,1),(1997,2),(1997,3)
经过Combiners 合并后：
Map1:(1997,[20,10,50])
Map2:(1997,[1,2,3])
通过使用Combiners使Map先输出的在本地先聚合，这样会提升速度。
Combiners的输出是Reduce的输入，但是Combiners不能影响最终的结果。
举例：求最大的温度
Map1:(1997,20),(1997,10),(1997,50)
Map2:(1997,1),(1997,2),(1997,3)