TopN
可以通过sort by limit N 来实现 比 通过order by limit N 来实现要快得多
个人感觉sort by使用的时候如果能合理使用distribute by的话会更均衡一些
sort by可以启动多个reduce,每个reduce做局部排序,但是这对于sort by limit N已经够用了。
第一个JOB是在每个reduce中做局部排序,然后分别取TOP N。假设启动了M个reduce,
第二个JOB再对M个reduce分别局部排好序的总计M * N条数据做全局排序,取TOP N,从而得到想要的结果。
这样就可以大大提高SELECT TOP N的效率。
分组TopN
使用hive窗口函数来实现
语文成绩是80分的排名是多少
select od from (select *, row_number() over (partition by sub order by score desc) as od from t )t where sub=‘chinese‘ and score=80;