hive分桶表join_Hive分桶学习及分桶的应用场景如大表间的join操作

理论基础

1、概念:

对于表或分区,进一步细分成桶。

分桶方式:

对列进行hash再对桶个数取模,确定记录入桶。

2、操作

普通表:

create table nor_tab(id int,name String,age int) row format delimited

fields terminated by '\t'

lines terminated by '\n';

加载数据:

load data local inpath '/root/b.txt' overwrite into table nor_tab;

桶表:

create table buc_tab(id int,name String,age int) clustered by (age) into 3 buckets

row format delimited

fields terminated by '\t'

lines terminated by '\n';

#####这儿和分区表不一样,分区表的分区字段不在建表字段中,而分桶字段在建表字段中。

往桶表插入数据:

insert into buc_tab select id,name,age from nor_tab;

查看hdfs目录:

[root@Linux005 ~]# hdfs dfs -ls /user/hive_remote/warehouse/buc_tab

Found 3 items

-rwxr-xr-x 1 root supergroup 10 2019-04-24 19:36 /user/hive_remote/warehouse/buc_tab/000000_0

-rwxr-xr-x 1 root supergroup 11 2019-04-24 19:36 /user/hive_remote/warehouse/buc_tab/000001_0

-rwxr-xr-x 1 root supergroup 12 2019-04-24 19:36 /user/hive_remote/warehouse/buc_tab/000002_0

3、配置参数

hive.enforce.bucketing

该参数在hive 1.x版本中默认为false,即不支持分桶。而在hive 2.x中,该参数默认为true。

mr运行时会根据桶的数量进行reduce task的数量。

4、分桶的作用

A)获得更高的查询效率:全表查询或分区查询转换成桶查询

B)大表join:

对于两张大表的join,执行reduce join(shuffle join)肯定不合适,只能做map join。

但是reduce join只适合做小表和大表的join,如何做大表间的join呢?

此时可以对两张大表的连接字段分桶,此时的join是按照桶来的,一个桶一个桶join,这样就完美解决了。

不过两个表的分桶数量上必须是倍数关系。确保对于连接条件的一致性。

解释:

如果连接字段某一个值的hashcode为8,A表分4桶,B表分5桶,则该值在A表进入0号桶,在B表进入3号桶,此时join的连接条件就不一致了。

要想在map端执行桶join,必须设置hive.optimize.bucketmapjoin= true。

C)抽样查询

传统抽样:

select * from emp tablesample(10%);

分桶抽样:

select * from emp tablesample(bucket x out of y);

解释:

x:从x桶开始抽样查询

y:抽样步长,必须是桶数的因子或者倍数。

假设桶为n,则抽取的数据n/y个桶;

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值