mapreduce编程(二)- 大象书中求每一年的最高温度

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/HEYUTAO007/article/details/5890165

书上的例子是为了取出一年当中气温最高的值,那么将年份和气温做了一个复合的key. 

1 通过设置了partitioner来进行分区。因为分区是按照年份来进行,所以同年的数据就可以分区到一个reducer中。

2 自定义key比较器,按照年份升序,温度值降序。这样map输出的所有kv对就是按照年份升序,温度值降序排列的。

3 自定义分组比较器,所有同一年的数据属于同一个组,那么在reduce输出的时候,只需要取第一个value就能达到输出一年最高气温的目的。 

代码:

没有更多推荐了,返回首页