Hive TopN+分组TopN

TopN
可以通过sort by limit N 来实现 比 通过order by limit N 来实现要快得多
个人感觉sort by使用的时候如果能合理使用distribute by的话会更均衡一些
sort by可以启动多个reduce，每个reduce做局部排序，但是这对于sort by limit N已经够用了。
第一个JOB是在每个reduce中做局部排序，然后分别取TOP N。假设启动了M个reduce，
第二个JOB再对M个reduce分别局部排好序的总计M * N条数据做全局排序，取TOP N，从而得到想要的结果。
这样就可以大大提高SELECT TOP N的效率。

分组TopN
使用hive窗口函数来实现
列1：
语文成绩是80分的排名是多少
select od from (select *, row_number() over (partition by sub order by score desc) as od from t )t where sub=‘chinese‘ and score=80;
例2：
人群中每种性别里年龄最大的两个人

select id,xb,age,hobby from t1 goup by xb order by age row_number() over (partition by xb order by age asc) as od
where xb=’女’ od >18;