什么是分桶表?
分桶是将数据集分解成更容易管理的若干数据文件的技术。相较于分区操作,分桶针对的是数据文件,而分区针对的是数据的存储路径。通俗来说,分区其实就是创建文件夹,而分桶则是创建文件。
分桶表
创建分桶表
create databases if not exists test;
use test;
create table student(id int, name string)
clustered by(id) sorted by (id) into 4 buckets
row format delimited fields terminated by '\t';
分桶表关键解析
clustered by(id)
:指定进行分桶的字段,这里是根据字段 id
进行分桶。
sorted by (id)
:根据指定字段在每个分桶内进行排序,这里表示根据字段 id
,为每个分桶进行排序(升序)。
into 4 buckets
:设置桶的个数,这里表示设置了 4 个桶。
插入数据
注意,往分桶表中插入数据时不要使用 load
方法,用 insert
方法。
这是由于分桶表插入数据要跑 MR 程序,有可能跑 MapTask 的节点本地没有数据。如果实在要使用 load
方法,尽量加载在 HDFS 上的数据。
往创建的表中添加数据:
insert into table student values(1,'zhangsan'),(2,'lisi'),(3,'wangwu'),(4,'zhaoliu'),(5,'tianqi'),(6,'liuliuil'),(7,'skt'),(8,'skt'),(9,'drx'),(10,'edg'),(11,'rng'),(12,'geng'),(13,'t1'),(14,'jdg');
查看
插入完成后,我们进入 HDFS 的 web 界面,查看分桶表的文件目录:
![](https://i-blog.csdnimg.cn/blog_migrate/d0beafcca8d7dc13372f5f6742f334ba.png)
可以看到,按照我们的设定,它被分为了 4 个存储文件,接着我们可以查看它的文件内容:
![](https://i-blog.csdnimg.cn/blog_migrate/8e89d55b958f704c7117fc8279993849.png)
如果你在查看文件内容时出现错误: Couldn’t preview the file.
那么你只需要在本地 hosts
文件设置集群 IP 映射即可,该文件一般情况位于 C:\Windows\System32\drivers\etc
目录中。
添加内容如下所示:
![](https://i-blog.csdnimg.cn/blog_migrate/d9e4434d86a983be398778938c0eeffa.png)
分区分桶表
在 Hive 中,我们可以通过创建分区分桶表来对数据文件进行更加细粒度的管理。
create table student2(id int,name string)
partitioned by (dt string)
clustered by (id) sorted by (id desc) into 4 buckets
row format delimited fields terminated by '\t';
需要注意的是,创建表时,分区必须位于分桶前面,其它操作都一样。