书上的例子是为了取出一年当中气温最高的值，那么将年份和气温做了一个复合的key.
1 通过设置了partitioner来进行分区。因为分区是按照年份来进行，所以同年的数据就可以分区到一个reducer中。
2 自定义key比较器，按照年份升序，温度值降序。这样map输出的所有kv对就是按照年份升序，温度值降序排列的。
3 自定义分组比较器，所有同一年的数据属于同一个组，那么在reduce输出的时候，只需要取第一个value就能达到输出一年最高气温的目的。
代码：
本文介绍了如何使用Hadoop MapReduce解决从数据中找出每年最高气温的问题。通过自定义Key类、Partitioner、Comparator和GroupingComparator，确保同一年的数据被分到同一个Reducer，并按年份升序、气温降序排序，最终只保留每个年份的最高气温。
最低0.47元/天 解锁文章
扫一扫
789
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
