Hive的存储是在hdfs上,当Hive创建一张表的时候,其实是在hdfs上创建了一个文件夹。在查询数据的时候,也是将文件夹下所有的文件进行读取,这在海量数据的应用中无疑是非常耗时的,为了进行查找优化,可以使用分区分桶,将数据按照分区分开,在查询的时候查看是哪个区或桶,到相应的位置查找即可
分桶表
对于一张表或者分区,Hive 可以进一步组织成桶,也就是更为细粒度的数据范围划分。
分区是针对与文件夹,可以将数据分为不同的文件夹,而分桶是针对数据文件而言的
①创建分桶表
create table stu_bucket(id int, name string)
clustered by(id)
into 4 buckets
row format delimited
fields terminated by '\t';
②查看表结构
desc formatted stu_bucket;
注意:reduce的个数要大于或者等于桶的个数
抽样查询
对于非常大的数据集,有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表进行抽样来满足这个需求。
语法:
TABLESAMPLE(BUCKET x OUT OF y);
查询表stu_buck中的数据。
select * from stu_bucket tablesample(bucket 1 out of 4 on id);
注意:x的值必须小于等于y的值