TopN 算法实现-自定义 GroupComparator
1、需求
在统计学生成绩的小项目中,现在有一个需求: 求出每个班参考学生成绩最高的学生的信息,班级,姓名和平均分
2、分析
- 利用“班级和平均分”作为 key,可以将 map 阶段读取到的所有学生成绩数据按照班级 和成绩排倒序,发送到 reduce
- 在 reduce 端利用 GroupingComparator 将班级相同的 kv 聚合成组,然后取第一个即是最 大值
3、实现
第一步:先把分组和排序字段都综合到一个自定义对象里



第二步:编写排序之后的 ClazzScore 数据传入 ReduceTask 的分组规则

第三步:编写 MapReduce 程序



本文介绍如何使用TopN算法和自定义GroupComparator在MapReduce中实现按班级筛选最高平均分学生的功能。首先,将分组和排序字段整合到自定义对象中;接着,定义ReduceTask的分组规则;最后,编写MapReduce程序完成需求。

被折叠的 条评论
为什么被折叠?



