【Hive】分桶表

分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理 的分区。对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围 划分。
分桶是将数据集分解成更容易管理的若干部分的另一个技术。 分区针对的是数据的存储路径；分桶针对的是数据文件。

先创建分桶表

数据准备

• 建表
  以sid分桶，分四桶

create table stu_buck(sid int,subject string,score int)
clustered by (sid)
into 4 buckets
row format delimited fields terminated by ',';

查看表结构
desc formatted stu_buck;

导入数据到分桶表中，load 的方式
load data local inpath '/home/data/hive/stu_buck' into table stu_buck;

集群上的数据已经分为了四分

查看数据
select * from stu_buck limit 100;

• 分桶表操作需要注意的事项
  reduce 的个数设置为-1,让 Job 自行决定需要用多少个 reduce 或者将 reduce 的个 数设置为大于等于分桶表的桶数
  从 hdfs 中 load 数据到分桶表中，避免本地文件找不到问题
  不要使用本地模式