黑猴子的家：Hive 分桶练习

1、Hive分桶

Hive可以将表或者表的分区进一步组织成桶，以达到：
1、数据取样效率更高
2、数据处理效率更高
桶通过对指定列进行哈希来实现，将一个列名下的数据切分为“一组桶”，每个桶都对应了一个该列名下的一个存储文件。

2、直接分桶

开始操作之前，需要将hive.enforce.bucketing属性设置为true，以标识Hive可以识别桶。

hive> create table music(
    id int,
    name string,
    size float)
row format delimited 
fields terminated by "\t"
clustered by (id) into 4 buckets;

该代码的意思是将music表按照id将数据分成了4个桶，插入数据时，会对应4个 reduce操作，输出4个文件。

3、在分区中分桶

当数据量过大，需要庞大分区数量时，可以考虑桶，因为分区数量太大的情况可能会导致文件系统挂掉，而且桶比分区有更高的查询效率。数据最终落在哪一个桶里，取决于clustered by的那个列的值的hash数与桶的个数求余来决定。虽然有一定离散性，但不能保证每个桶中的数据量是一样的。

hive> create table music2(
    id int,
    name string,
    size float)
partitioned by (date string)
clustered by (id) sorted by(size) into 4 bucket
row format delimited 
fields terminated by "\t";

hive> load data local inpath 'demo/music.txt' 
      into table music2 partition(date='2018-08-30');