Hive 分桶表

hive 专栏收录该内容
15 篇文章 1 订阅

简介

本文主要介绍了Hive中分桶表的使用及作用

分桶和分区

分区提供了一个隔离数据和优化查询的便利的方式.但是当分区的数量过多时,会产生过多的小分区,这样会给namenode带来较大的压力.分桶试讲数据集分解成更容易管理的若干部分的另一个技术.

使用

我们先准备我们将使用的分桶表的数据.

1,jack,2016/11/11
2,michael,2016/11/12
3,summer,2016/11/13
4,spring,2016/11/14
5,nero,2016/11/15
6,book,2016/12/21
7,node,2016/12/22
8,tony,2016/12/23
9,green,2016/12/24
10,andy,2016/12/25
11,kaith,2016/12/26
12,spring,2016/12/27
13,andy,2016/12/28
14,tony,2016/12/29
15,green,2016/12/30
16,andy,2016/12/31
17,kaith,2017/1/1
18,xiaoming,2017/1/2

如上所示,这是一张顾客信息表,3个字段分别代表顾客的id,name,birthday

创建桶表

桶表的建表语法和普通表类似,但是需要制定分桶的规则和桶的个数.

create table t_bucket(id int,name string,birthday string)
clustered by (id) 
into 4 buckets
row format delimited fields terminated by ',';

我们设定桶表按照id进行分桶,桶内数据按照id进行排序.注意这里的建表语句只是告诉hive,t_bucket这张表是应该按照这种方式去存储,但是并不会在插入数据时帮我们去分桶存储.我们来做个试验:
我们将上面准备好的数据插入t_bucket表

load data local inpath '/home/spark/jar/testdata/Customer.txt' into table t_bucket;

然后我们到hdfs的目录去查看,发现并没有安装我们预先设计的方式去存储数据,数据文件个数为一个;

hive (test_neil)> dfs -ls /user/hive/warehouse/test_neil.db/t_bucket;
Found 1 items
-rwxr-xr-x   1 root staff        364 2017-02-05 12:44 /user/hive/warehouse/test_neil.db/t_bucket/Customer.txt

事实上hive采用的为读时模式,他并不会去判断插入表的数据是否符合元数据的信息.因为我们使用load插入数据并不会产生reduce,数据量较小,只生成了一个数据文件,因此这并不是一个分桶表.一般我们并不采用load的方式去加载数据到bucket表,我们采用insert的方式,使用select将数据变成我们分桶指定的模式.

正确的load方式

首先我们把数据导入另外一张表中

create table t_temp(id int,name string,birthday string)
row format delimited fields terminated by ',';

load data local inpath 'home/spark/jar/testdata/Customer.txt' into table t_temp;

在我们导入数据前,需要将hive.enforce.bucketing的值设置为true,

set hive.enforce.bucketing = true

这个参数将强制控制ruduce的个数去和我们指定的分桶个数相适配.

将t_bucket表truncate掉,再次导入数据

truncate table t_bucket;

insert into table t_bucket
select id,name,birthday
from t_temp
cluster by id;

在job执行的log中,我们可以看到最终分桶的情况:

Loading data to table test_neil.t_bucket
Table test_neil.t_bucket stats: [numFiles=4, numRows=18, totalSize=346, rawDataSize=328]

我们再次去查看t_bucket表的目录发现,这张表的数据已经被分成了四份,这样我们便成功的将文件进行了分桶的操作;

hive (test_neil)> dfs -ls /user/hive/warehouse/test_neil.db/t_bucket;
Found 4 items
-rwxr-xr-x   1 root staff         78 2017-02-05 13:14 /user/hive/warehouse/test_neil.db/t_bucket/000000_0
-rwxr-xr-x   1 root staff         92 2017-02-05 13:14 /user/hive/warehouse/test_neil.db/t_bucket/000001_0
-rwxr-xr-x   1 root staff         98 2017-02-05 13:14 /user/hive/warehouse/test_neil.db/t_bucket/000002_0
-rwxr-xr-x   1 root staff         78 2017-02-05 13:14 /user/hive/warehouse/test_neil.db/t_bucket/000003_0

我们去查看文件的内容:

dfs -cat /user/hive/warehouse/test_neil.db/t_bucket/000000_0;
dfs -cat /user/hive/warehouse/test_neil.db/t_bucket/000001_0;
dfs -cat /user/hive/warehouse/test_neil.db/t_bucket/000002_0;
dfs -cat /user/hive/warehouse/test_neil.db/t_bucket/000003_0;

结果:

4/spring/2016/11/14
8/tony/2016/12/23
12/spring/2016/12/27
16/andy/2016/12/31
1/jack/2016/11/11
5/nero/2016/11/15
9/green/2016/12/24
13/andy/2016/12/28
17/kaith/2017/1/1
2/michael/2016/11/12
6/book/2016/12/21
10/andy/2016/12/25
14/tony/2016/12/29
18/xiaoming/2017/1/2
3/summer/2016/11/13
7/node/2016/12/22
11/kaith/2016/12/26
15/green/2016/12/30

我们可以看到,我们的客户数据被分成了四份.那么这四份是如何进行划分的呢?其实我们已经制定了按照id进行划分,因此hive使用hash散列的方式,将id个数对桶个数求余数,我们id为18个,对桶个数(4个)求余数,结果为4.这样每个桶最少有4条数据,同时这样的方式得到的桶内数据其实相当于是随机的.

cluster by和distribute by

在上面的select语句中,我们使用了cluster by语句执行分桶的方式.我们发现其实桶内的数据是按照id字段进行升序排列的.其实cluster by相当于distribute by+sort by.sort by默认按照升序进行排列.

sort by排序的为reducer内的数据,在这里就是bucket内的数据.这样数据是局部有序的,而order by是全局有序的.执行了order by,最后只能有个reduce,因为要做全局的排序.

但是呢,distribute by+sort by的组合会更加的灵活,因为我们可以去按照id分桶,按照birthday去进行排序.我们可以做如下的试验.

insert into table t_bucket
select id,name,birthday
from t_temp
distribute by id
sort by birthday desc;

我们再去执行select,发现数据是按照id进行分桶的,但是数据的排列顺序其实是按照birthday进行降序排列的.

16  andy    2016/12/31
12  spring  2016/12/27
8   tony    2016/12/23
4   spring  2016/11/14
17  kaith   2017/1/1
13  andy    2016/12/28
9   green   2016/12/24
5   nero    2016/11/15
1   jack    2016/11/11
18  xiaoming    2017/1/2
14  tony    2016/12/29
10  andy    2016/12/25
6   book    2016/12/21
2   michael 2016/11/12
15  green   2016/12/30
11  kaith   2016/12/26
7   node    2016/12/22
3   summer  2016/11/13

分桶的好处

1.分桶加快了join查询的速度.
对于map端连接的情况,两个表以相同方式划分桶。处理左边表内某个桶的 mapper知道右边表内相匹配的行在对应的桶内。因此,mapper只需要获取那个桶 (这只是右边表内存储数据的一小部分)即可进行连接。这一优化方法并不一定要求 两个表必须桶的个数相同,两个表的桶个数是倍数关系也可以.这样便采用了Map-side join的方式,避免全表进行笛卡尔积的操作.

**关于桶内排序的意义:
桶中的数据可以根据一个或多个列另外进行排序。由于这样对每个桶的连接变成了高效的归并排序(merge-sort), 因此可以进一步提升map端连接的效率。**

**分桶个数:
如果两个表的分桶个数之间没有什么倍数的关系,这样分桶表在做join时并不会提升效率,因为数据随机分发,桶和桶之间并没有对应关系.**

2.使取样(sampling)更加的高效
在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便.
使用上面的t-bucket我们进行演示.
假如我们使用的为一个大规模的数据集,我们只想去抽取部分数据进行查看.使用bucket表可以变得更加的高效

select * from t_bucket tablesample(bucket 1 out of 4);
select * from t_bucket tablesample(bucket 1 out of 4 on id);

这样表示我们从bucket1开始取样1个bucket的数据.

select * from t_bucket tablesample(bucket x out of y on xx);

x表示从哪个bucket进行抽样,桶计数从1开始.y用来计算抽取数据的量,计算方式为分桶数/y.假设我们一共分了128个桶,y设置为32,则表示要抽取4个bucket,如果x为12,则抽取的数据来自于12/13/14/15.y的值可以不为桶个数的公约数,可以为任意值.

参考文章

Hive 基础之:分区、桶、Sort Merge Bucket Join

  • 0
    点赞
  • 1
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值