小编前几天去面试了一个大数据分析的岗位,学习了几个月信心满满的小编被无情的面试教育了,被教育的不是一些高深的算法理论,而是一些hiveSQL。
这些题小编真不是不会,场景都非常熟悉,但就是容易忘。今天小编整理了一点常用场景的hiveSQL,很可能就能在面试中帮到你。
场景一:分组求TopN
先看数据:
好像把小编的数学成绩暴露了,现在需要求每一门科目,成绩排名前两名的同学。
使用HiveSQL常用的方式为:
Select * from table,
row_number() over(partition by item order by score desc) rank
where rank<=2;
输出结果为:
解析:row_number()函数基于over对象分组、排序的记过,为每一行分组记录返回一个序号,该序号从1开始,依次递增,遇到新组则重新从1开始。也就是说,该函数计算的值表示每组内部排序后的顺序编号。
然后在语句中加入限制条件rank<=2来筛选具体选取top几。从最终的结