背景:
在一次工作中,需要从数仓中提出大量数据,但提数工具不支持大批量数据一次导出,需分批次将所需的数据导出。现记录下本次操作用到的分页语法。
1、Hive支持 limit m,n 语法
SELECT * FROM TEST LIMIT M-1, N; //查询 从 m行到m+n行
SELECT * FROM TEST LIMIT M; //查询前 n 个记录行
因我使用的Hive版本不支持limit m-1, n语法,无法体现出查询结果,展示下不支持情况下,查询效果
2、row_number()函数语法
语法格式:row_number() over(partition by 分组列 order by 排序列 desc)
注意:
1、 使用 row_number() over()函数时,over()里面的分组以及排序的执行晚于 where、group by、order by 的执行。
2、在使用row_number()函数时,将处理结果最好写到临时表,不然每次使用row_number() 进行排序或分组 都很耗性能。
2.1 只分组 不排序
按照 “指定字段” 分组 不排序 写法:row_number() over(partition by 指定字段 )
select * , row_number() over(partition by 指定字段) from 表名;
实例 查询结果:
2.2 只排序 不分组
按照 “指定字段” 排序 不分组 写法:row_number() over(order by 指定字段 )
select * ,row_number() over(order by 指定字段) from 表名;
实例查询结果:
2.3 分组加排序
按照 “分组列”进行分组,“排序列”排序
select *,row_number() over (partition by 分组列 order by 排序列) from 表名;
实例查询结果:
2.4 row_number() 函数 分页
数据量过大,需要分页查询时 采用row_number()函数进行分页
select * from (
select *,row_number() over() as rownum from 表名
) 别名 where rownum between 开始行 and 截止行;
实例 从表中查询 第10行到 100行数据:
以上是个人在Hive中关于使用row_number()函数 进行分页查询的总结和心得。