Hive之分桶

一、分桶及抽样数据存储

分区针对的是数据的存储路径；分桶针对的是数据文件。

分区提供一个隔离数据和优化查询到的便利方式。不过并非所有的数据集都可形成合理的分区，特别是之前所提到的要确定合适的划分大小这个疑虑。
分桶试讲数据及分解成更容易管理的若干部分的另一个技术。

二、创建分桶表

2.1 首先设置相关属性

set hive.ecforce.bucketing=true;
set mapreduce.job.reduces=-1;

2.2 创建一个分桶表

create table stu_bucket(id int, name string)
clustered by (id) into 4 buckets
row format delimited field terminated by '\n';

2.3 将stu表的数据导入分桶表中

insert into table stu_buck
select id, name from stu;

三、分桶抽样调查

对于非常大的数据集，又是用户需要使用过的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表的抽样来满足这个需求
查询表stu_buck中的数据

select * from stu_buck tablesample(bucket 1 out of 4 on id);

tablesample是抽样语句，语法：TABLESAMPLE(BUCKET x OUT OF y)
y必须是table总bucket数的倍数或者因子。Hive根据y的大小，决定取样的比例。例如table总共有4份，如果y=2是，则抽取2个bucket数据， 如果y=8，则抽取1/2个bucket的数据。
x表示从哪个bucket开始抽取，如果需要取多个分区，以后的分区号为当前分区号加上y。例如tablesample(bucket 1 out of 2)，表示总共抽取(4/2=)2个bucket的数据，抽取第1(x)个和第3(x+y)个bucket的数据。