Hive(六) Hive 分桶

1 hive 分桶概述

分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。

对于 hive 中每一个表、分区都可以进一步进行分桶。

由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。

适用场景：

对比 MR 的 HashPartition

数据抽样（ sampling ）

2 开启支持分桶

set hive.enforce.bucketing=true;

默认：false；设置为 true 之后，mr 运行时会根据 bucket 的个数自动分配 reduce task 个数。（用户也可以通过 mapred.reduce.tasks 自己设置 reduce 任务个数，但分桶时不推荐使用）

注意：一次作业产生的桶（文件数量）和 reduce task 个数一致。

3 分桶操作

3.1 往分桶表中加载数据

insert into table bucket_table select columns from tbl; insert overwrite table bucket_table select columns from tbl;

3.2 桶表 抽样查询

select * from bucket_table tablesample(bucket 1 out of 4 on columns);

TABLESAMPLE 语法：

TABLESAMPLE(BUCKET x OUT OF y)

x：表示从哪个 bucket 开始抽取数据

y：必须为该表总 bucket 数的倍数或因子

当表总 bucket 数为 32 时

1. TABLESAMPLE(BUCKET 3 OUT OF 16)，抽取哪些数据？

共抽取 2（32/16）个 bucket 的数据，抽取第 3、第 19（16+3）个 bucket 的数据

2. TABLESAMPLE(BUCKET 3 OUT OF 8)，抽取哪些数据？

共抽取 4（32/8）个 bucket 的数据，抽取：3，11,19,27

3. TABLESAMPLE(BUCKET 3 OUT OF 256)，抽取哪些数据？

共抽取 1/8（32/256）个 bucket 的数据，抽取第 3 个 bucket 的 1/8 数据

4 实操案例

例：

CREATE TABLE psn31( id INT, name STRING, age INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

测试数据：

[root@node4 ~]# vim bucket 1,tom,11 2,cat,22 3,dog,33 4,hive,44 5,hbase,55 6,mr,66 7,alice,77 8,scala,88

加载原始数据：

hive> load data local inpath '/root/bucket' into table psn31;

创建分桶表

CREATE TABLE psnbucket( id INT, name STRING, age INT) CLUSTERED BY (age) INTO 4 BUCKETS ROW FORMAT DELIMITED FIELDS TERMINATED BY ','; desc formatted psnbucket;

莫忘记开始分桶支持：

set hive.enforce.bucketing=true;

从源数据表向分桶表中添加数据：

insert into table psnbucket select id, name, age from psn31;

抽样

hive> select id, name, age from psnbucket tablesample(bucket 2 out of 4 on age); OK id name age 3 dog 33 7 alice 77 [root@node4 ~]# hdfs dfs -cat /user/hive_remote/warehouse/psnbucket/000001_0 7,alice,77 3,dog,33

总结：分区是分目录存储，分桶是将表中的数据分文件存储。