hive分桶表join_Hive分桶学习及分桶的应用场景如大表间的join操作

理论基础

1、概念：

对于表或分区，进一步细分成桶。

分桶方式：

对列进行hash再对桶个数取模，确定记录入桶。

2、操作

普通表：

create table nor_tab(id int,name String,age int) row format delimited

fields terminated by '\t'

lines terminated by '\n';

加载数据：

load data local inpath '/root/b.txt' overwrite into table nor_tab;

桶表：

create table buc_tab(id int,name String,age int) clustered by (age) into 3 buckets

row format delimited

fields terminated by '\t'

lines terminated by '\n';

#####这儿和分区表不一样，分区表的分区字段不在建表字段中，而分桶字段在建表字段中。

往桶表插入数据：

insert into buc_tab select id,name,age from nor_tab;

查看hdfs目录：

[root@Linux005 ~]# hdfs dfs -ls /user/hive_remote/warehouse/buc_tab

Found 3 items

-rwxr-xr-x 1 root supergroup 10 2019-04-24 19:36 /user/hive_remote/warehouse/buc_tab/000000_0

-rwxr-xr-x 1 root supergroup 11 2019-04-24 19:36 /user/hive_remote/warehouse/buc_tab/000001_0

-rwxr-xr-x 1 root supergroup 12 2019-04-24 19:36 /user/hive_remote/warehouse/buc_tab/000002_0

3、配置参数

hive.enforce.bucketing

该参数在hive 1.x版本中默认为false,即不支持分桶。而在hive 2.x中，该参数默认为true。

mr运行时会根据桶的数量进行reduce task的数量。

4、分桶的作用

A)获得更高的查询效率：全表查询或分区查询转换成桶查询

B)大表join:

对于两张大表的join，执行reduce join(shuffle join)肯定不合适，只能做map join。

但是reduce join只适合做小表和大表的join,如何做大表间的join呢？

此时可以对两张大表的连接字段分桶，此时的join是按照桶来的，一个桶一个桶join，这样就完美解决了。

不过两个表的分桶数量上必须是倍数关系。确保对于连接条件的一致性。

解释：

如果连接字段某一个值的hashcode为8，A表分4桶，B表分5桶，则该值在A表进入0号桶，在B表进入3号桶，此时join的连接条件就不一致了。

要想在map端执行桶join,必须设置hive.optimize.bucketmapjoin= true。

C)抽样查询

传统抽样：

select * from emp tablesample(10%);

分桶抽样：

select * from emp tablesample(bucket x out of y);

解释：

x:从x桶开始抽样查询

y:抽样步长，必须是桶数的因子或者倍数。

假设桶为n,则抽取的数据n/y个桶;