【大数据】Hive系列之- Hive-分桶表

分桶表

分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理 的分区。对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围 划分。
分桶是将数据集分解成更容易管理的若干部分的另一个技术。 分区针对的是数据的存储路径；分桶针对的是数据文件。

先创建分桶表

数据准备

100	ss1
1	ss2
100	ss3
2	ss4
100	ss5
3	ss6
100	ss7
4	ss8
100	ss9
5	ss10
100	ss1

创建分桶表

hive (default)> create table car_bucket(id int, name string) clustered by(id)
into 4 buckets
row format delimited fields terminated by '\t';

查看表结构

hive (default)> desc formatted car_bucket;
Num Buckets:	4

导入数据到分桶表中，load 的方式

hive (default)> load data inpath '/car.txt' into table car_bucket; 

分桶规则

根据结果可知：Hive 的分桶采用对分桶字段的值进行哈希，然后除以桶的个数求余的方 式决定该条记录存放在哪个桶当中

分桶表操作需要注意的事项

• reduce 的个数设置为-1,让 Job 自行决定需要用多少个 reduce 或者将 reduce 的个 数设置为大于等于分桶表的桶数
• 从 hdfs 中 load 数据到分桶表中，避免本地文件找不到问题
• 不要使用本地模式

insert 方式将数据导入分桶表

hive(default)>insert into table car_bucket select * from car_tmp;