hive分桶

hive分桶和抽样查询
1.概念
桶是比表或分区更为细粒度的数据范围划分。针对某一列进行桶的组织，对列值哈希，然后除以桶的个数求余，决定将该条记录存放到哪个桶中。
物理上，一个桶就是表（或分区）目录里的一个文件。桶对应于MapReduce的输出文件分区：一个作业产生的桶（输出文件）和reduce任务个数相同
2.创建语句
create table bucketed_user(id int ,name string) clustered by (id)  into 4 buckets 
row format delimited fields terminated by '\t' stored as textfile;
注：使用CLUSTERED BY子句指定使用哪一个列来划分桶和要划分的桶的个数。
把文本文件load进去一个桶表需要先把这个文件数据load进去一个不分桶的表，然后再使用inset into table 桶表名；
eg:
SELECT * FROM bucketed_users TABLESAMPLE(bucket 1 out of 2 on id);
注：tablesample是抽样语句，语法：TABLESAMPLE(BUCKET x OUT OF y) 
y必须是table总bucket数的倍数或者因子。hive根据y的大小，决定抽样的比例。
例如，table总共分了64份，当y=32时，抽取(64/32=)2个bucket的数据，当y=128时，抽取(64/128=)1/2个bucket的数据。
x表示从哪个bucket开始抽取。例如，table总bucket数为32，tablesample(bucket 3 out of 16)，表示总共抽取（32/16=）2个bucket的数据，
分别为第3个bucket和第（3+16=）19个bucket的数据。