hive 分页实现

1.支持limit n,m语法的hive版本

#!/bin/bash
cnt=$(set hive.cli.print.header=false;hive -e "select count(*) from exam.userbehavior;")
echo "总记录数:   $cnt 条"
#每页10条
pageSize=10
pageNum=`expr $(($cnt + $pageSize - 1))  / $pageSize`
echo "总页数:   $pageNum 页"
for((a=0;a<=$pageNum;a++))
do
        x=`expr $a + 1`
        echo "***********第$x页记录**********"
        hive -e "select * from exam.userbehavior limit $a,$pageSize;"
done

2.不支持limit n,m使用row_number实现

这种方式使用row_number最好写一个临时表,不然每次都排序很耗性能

#!/bin/bash
cnt=$(set hive.cli.print.header=false;hive -e "select count(*) from exam.userbehavior;")
echo "总记录数:   $cnt 条"
for((a=1;a<=$cnt;a+=10))
do
	x=`expr $a + 9`
	hive -e "
	select *
	from
	(select *,row_number() over(order by user_id) as rn from exam.userbehavior) a
	where a.rn between $a and $x
	"
done