Hive limit 分页、 row_number()分页

背景：

在一次工作中，需要从数仓中提出大量数据，但提数工具不支持大批量数据一次导出，需分批次将所需的数据导出。现记录下本次操作用到的分页语法。

1、Hive支持 limit m，n 语法

SELECT * FROM TEST LIMIT M-1, N; //查询 从 m行到m+n行
SELECT * FROM TEST LIMIT M;    //查询前 n 个记录行

因我使用的Hive版本不支持limit m-1， n语法，无法体现出查询结果，展示下不支持情况下，查询效果

2、row_number()函数语法

语法格式：row_number() over(partition by 分组列 order by 排序列 desc)
注意：

        1、 使用 row_number() over()函数时，over()里面的分组以及排序的执行晚于 where、group by、order by 的执行。

        2、在使用row_number(）函数时，将处理结果最好写到临时表，不然每次使用row_number() 进行排序或分组 都很耗性能。

2.1 只分组 不排序

按照  “指定字段” 分组 不排序 写法：row_number() over(partition by 指定字段 )

select * , row_number() over(partition by 指定字段) from 表名;

实例 查询结果：

2.2 只排序 不分组

按照  “指定字段” 排序 不分组 写法：row_number() over(order by 指定字段 )

select * ，row_number() over(order by 指定字段) from 表名;

实例查询结果：

2.3 分组加排序

按照 “分组列”进行分组，“排序列”排序

select *,row_number() over (partition by 分组列 order by 排序列) from 表名;

实例查询结果：

2.4 row_number() 函数 分页

数据量过大，需要分页查询时 采用row_number()函数进行分页

select * from (
select *,row_number() over() as rownum from 表名
) 别名 where rownum between 开始行 and 截止行;

实例 从表中查询 第10行到 100行数据：

以上是个人在Hive中关于使用row_number()函数 进行分页查询的总结和心得。