TopN 算法实现-自定义 GroupComparator
1、需求
在统计学生成绩的小项目中,现在有一个需求: 求出每个班参考学生成绩最高的学生的信息,班级,姓名和平均分
2、分析
- 利用“班级和平均分”作为 key,可以将 map 阶段读取到的所有学生成绩数据按照班级 和成绩排倒序,发送到 reduce
- 在 reduce 端利用 GroupingComparator 将班级相同的 kv 聚合成组,然后取第一个即是最 大值
3、实现
第一步:先把分组和排序字段都综合到一个自定义对象里
第二步:编写排序之后的 ClazzScore 数据传入 ReduceTask 的分组规则
第三步:编写 MapReduce 程序