09：Hive从0到1系列学习：分桶表和抽样查询

Hive的存储是在hdfs上，当Hive创建一张表的时候，其实是在hdfs上创建了一个文件夹。在查询数据的时候，也是将文件夹下所有的文件进行读取，这在海量数据的应用中无疑是非常耗时的，为了进行查找优化，可以使用分区分桶，将数据按照分区分开，在查询的时候查看是哪个区或桶，到相应的位置查找即可

分桶表

对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围划分。

分区是针对与文件夹，可以将数据分为不同的文件夹，而分桶是针对数据文件而言的

①创建分桶表

create table stu_bucket(id int, name string)
clustered by(id) 
into 4 buckets
row format delimited 
fields terminated by '\t';

②查看表结构

desc formatted stu_bucket;

注意：reduce的个数要大于或者等于桶的个数

抽样查询

对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表进行抽样来满足这个需求。

语法:

TABLESAMPLE(BUCKET x OUT OF y);

查询表stu_buck中的数据。

select * from stu_bucket tablesample(bucket 1 out of 4 on id);

注意：x的值必须小于等于y的值