Hive-分桶表 、抽样查询

简介

对Hive(Inceptor)表分桶可以将表中记录按分桶键(字段)的哈希值分散进多个文件中，这些小文件称为桶。

      分区针对的是数据的存储路径；分桶针对的是数据文件。

      分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区，特别是之前所提到过的要确定合适的划分大小这个疑虑。

      分桶是将数据集分解成更容易管理的若干部分的另一个技术。

优点

1，更快，桶为表加上额外结构，链接相同列划分了桶的表，可以使用map-side join更加高效。

2，取样sampling更高效。没有分区的话需要扫描整个数据集。

实施

1 创建普通表  导入数据

create table tb_stu(
id int, 
name string)
row format delimited fields terminated by '\t';
load data local inpath "/data/stu/" into  table tb_stu ;

2 创建分桶表

create table bucket_stu(
id int ,
name string
)
clustered by(id)
into 3 buckets
row format delimited fields terminated by '\t';

 

3 开启分桶功能 

set hive.enforce.bucketing=true;     -- 开启分桶

4  使用insert  into的方式导入数据 到 分桶表中

insert into table bucket_stu select * from tb_stu;

 

抽样查询

从大量的数据中根据某个字段随机抽取数据  

比如：

       将表分成三份（不是均等的分）但是 取三次数据都不会重复

对抽样的表是没有要求的 , 分桶表普通表都可以

select * from  buck_stu tablesample(bucket 1 out of 3 on id);

select * from  buck_stu tablesample(bucket 2 out of 3 on id);

select * from  buck_stu tablesample(bucket 3 out of 3 on id);