hive分桶查询详解以及分桶抽样

前言

本篇笔记主要是记录对hive中的分桶查询和抽样查询的知识点。

---

正文

先创建分桶表，按照id的值将数据分成8桶。

create table if not exists t( 
	id int,
	name string, 
	age int 
)
clustered by (id) into 8 buckets 
row format delimited fields terminated by ' ' 
lines terminated by '\n' stored as textfile;

先介绍分桶查询的语句格式，好初步了解相关规则。
x：从第几桶开始取数据
y：可以通过y和定义的分桶数推导出此次需要取的数据的桶数。桶数推导规则：桶数=定义的n桶/y 而y只能是定义的桶数n的倍数或者因子。
注意：这里的x不能大于y
on后面跟分桶字段。

select * from 表名 tablesample(bucket x out of y on 分桶字段);
-- x：从第几桶开始取数据
-- y：可以通过y和定义的分桶数推导出此次需要取的数据的桶数。桶数推导规则：桶数=定义的n桶/y  而y只能是定义的桶数n的倍数或者因子。
-- 注意：这里的x不能大于y
-- on后面跟分桶字段。

对其分桶查询示例：

select * from cq01 tablesample(bucket 1 out of 4 on id);
-- 这里的x=1，y=4。 
-- 由上述的语句格式介绍可以用y推导出,此次取的桶数为8/4=2桶。从x开始取，那么就是从第1桶开始取，然后取第1+y=5。即此次取第一和第五桶的数据。

select * from cq01 tablesample(bucket 1 out of 8 on id);
-- 这里的x=1，y=8。 
-- 由上述的语句格式介绍可以用y推导出,此次取的桶数为8/8=8桶。从x开始取，那么就是从第1桶开始取，然后取第1桶的数据。即此次取第一桶的数据。

select * from cq01 tablesample(bucket 2 out of 16 on id);
-- 这里的x=2，y=16。 
-- 由上述的语句格式介绍可以用y推导出,此次取的桶数为8/16=1/2桶。从x开始取，那么就是从第2桶开始取，然后取第2桶的1/2的数据。即此次取第一桶的前1/2数据。

抽样查询

这里的抽样查询只需要熟悉相应语法即可，下面是几种常用的抽样查询写法示例。

select * from cq01 tablesample(bucket 1 out of 4 on id);
select * from cq01 tablesample(bucket 1 out of 4 on id) where name = 'xx';
select * from cq01 tablesample(3 rows); -- 行数
select * from cq01 tablesample(30 percent); -- 数量的百分比
select * from cq01 tablesample(6B); -- B K M G T P 具体数量
select * from cq01 tablesample(bucket 1 out of 4 on rand()); -- rand()随机抽样
select * from cq01 order by rand() limit 3;-- 随机抽3行数据

总结

以上就是关于分桶查询和分桶抽样查询的知识点总结了，有什么不懂的地方可以评论区交流。