分桶表学习

最新推荐文章于 2024-09-08 18:21:03 发布

白日梦想东

最新推荐文章于 2024-09-08 18:21:03 发布

阅读量1k

点赞数

分类专栏： # Hive 文章标签：学习大数据数据仓库

原文链接：https://blog.csdn.net/whdxjbw/article/details/82219022

版权

Hive 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

本文目录

一、分桶表概述

1.1、什么是分桶表？

分桶是将数据集分解成更容易管理的若干部分的一个技术，是比表或分区更为细粒度的数据范围划分。针对某一列进行桶的组织，对列值哈希，然后除以桶的个数求余，决定将该条记录存放到哪个桶中。

常用于：

获得更高的查询处理效率
抽样调查

1.2、分桶表和分区表有啥区别？

分区表提供了一个隔离数据和优化查询的便利方式。但是在实际场景下，并非所有的数据集都可形成合理的分区。对于一张表或者分区，Hive还可以进一步组织成桶，也就是更为细粒度的数据范围划分。

小结一波：

分桶对数据的处理比分区更加细粒度化；
分桶和分区两者不干扰，可以把分区表进一步分桶；
分区针对的是数据的存储路径；分桶针对的是数据文件。

二、分桶表实战

首先说明一下，我的hive环境是基于docker-compose构建，使用postgresql管理metastore，各重要组件版本如下：

hadoop：2.7.4

hive：2.3.2

java：1.8

其实环境不重要，不用花太多时间，主要还是技术部分，接下来就开始实战吧。

2.1、创建一个分桶表

我们创建一个简单的分桶表，只有两个字段（id，name），并且按照id进行分6个桶，sql如下：

create table test_buck(id int, name string)
clustered by(id) 
into 6 buckets
row format delimited fields terminated by '\t';

  
  
  
  1
2
3
4

执行并查看表结构：
创建分桶表并查看表结构

使用desc formatted test_buck;查看test_buck表结构，数据较多，这里截取重要数据如下：
分桶表结构重要数据

2.2、准备数据

准备一些编号和字符串并按照 "\t"分隔开，把这些数据放入/tools/目录下的test_buck.txt文件内，数据格式如下图：
数据样式

2.3、向分桶表导入数据

2.3.1、错误导入示范（引出分桶的本质）

数据准备好之后，我们就可以向分桶表里导入数据里。这里我首先使用如下常规命令导入：

load data local inpath '/tools/test_buck.txt' into table test_buck;

  
  
  
  1

然后很惊奇的是它报错了，报错信息如下：

简单翻译一下，报错信息是这样说的：请把数据导入到一个中间表，并使用insert … select语句导入到分桶表里。如果你非要直接导入分桶表里，需要把hive.strict.checks.bucketing设置为false（关闭严格模式），然后你写sql就没有检查了。。。。。

哈哈，到这里，我们知道了分桶表应该怎么导入数据了，但是为啥直接导入就不行呢？下面让我们硬着头皮改为false，然后导入数据试一下。

set hive.strict.checks.bucketing = false;

  
  
  
  1

取消严格模式并插入数据
然后我们打开50070查看hdfs上数据如下：

查看结果数据
说好的分6个桶呢？为什么只有一个呢？

这是因为：

桶的概念就是MapReduce的分区的概念，两者是完全一样的。也就是说物理上每个桶就是目录里的一个文件，一个作业产生的桶（输出文件）数量和reduce任务个数相同

所以这里我们导入一个文件，由于分区数等于文件数，只有一个分区，所以上面的操作并没有分桶。

2.3.2、正确导入示范（引出分桶规则）

绕了一圈，感觉还是把hive.strict.checks.bucketing设置为true比较好，节省犯错成本（不过有时候多犯错也是好事，比如上面咱们至少知道了hive分桶本质上就是mapreduce的分区）。

把hive严格模式打开，并把桶表清空：

set hive.strict.checks.bucketing = true;
truncate table test_buck;

  
  
  
  1
2

下面我们使用之前严格模式下建议我们使用的分桶表导入数据方式，使用中间表来进行数据导入：

设置强制分桶为true，并设置reduce数量为分桶的数量个数。

set hive.enforce.bucketing = true;

    
    
    
    1

启用强制分桶

创建一个临时表，并导入数据。

create table temp_buck(id int, name string)
row format delimited fields terminated by '\t';
load data local inpath '/tools/test_buck.txt' into table temp_buck;

    
    
    
    1
2
3

创建临时表并导入数据

使用insert select来间接把数据导入到分桶表。

insert into table test_buck select id, name from temp_buck;

    
    
    
    1

在50070上查看分桶表的数据，已经分为了6个，桶表数据插入成功！

查询分桶表里的数据。

select * from test_buck;

    
    
    
    1

结果如下图，仔细观察：
查询分桶表的数据

通过观察规则和桶数的对应关系，我们可以得出如下分桶规则：

Hive的分桶采用对分桶字段的值进行哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中

2.4、分桶抽样

对表分桶一般有两个目的，提高数据查询效率、抽样调查。通过前面的实战，我们已经可以对分桶表进行正常的创建并导入数据了。一般在实际生产中，对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。这个时候Hive就可以通过对表进行抽样来满足这个需求。

抽样语句语法解析：

tablesample(bucket x out of y)
y必须是table总bucket数的倍数或者因子。hive根据y的大小，决定抽样的比例。
例如，table总共分了6份，当y=2时，抽取(6/2=)3个bucket的数据，当y=8时，抽取(6/8=)3/4个bucket的数据。
x表示从哪个bucket开始抽取，如果需要取多个分区，以后的分区号为当前分区号加上y。
例如，table总bucket数为6，tablesample(bucket 1 out of 2)，表示总共抽取（6/2=）3个bucket的数据，抽取第1(x)个和第3(x+y)个和第5(x+y)个bucket的数据。
注意：x的值必须小于等于y的值

  
  
  
  1
2
3
4
5
6

举例：

select * from test_buck tablesample(bucket 1 out of 3 on id);

  
  
  
  1

结果如下图，可以发现，上面这条sql查出了第1个和第4个桶的数据：
抽样结果数据

三、总结

3.1、分桶表的优点

查询效率更快，因为分桶为表加上了额外结构，链接相同列划分了桶的表，可以使用map-side join更加高效；
由于分桶规则保证了数据在不同桶的随机性，因此平时进行抽样调查时取样更加方便。

3.2、常用操作

建表语句及含义

create table buck_table_name (id int,name string)
clustered by (id) sorted by (id asc) into 4 buckets
row format delimited fields terminated by '\t';
注意：CLUSTERED BY来指定划分桶所用列和划分桶的个数。
分桶规则：HIVE对key的hash值除bucket个数取余数，保证数据均匀随机分布在所有bucket里。
SORTED BY对桶中的一个或多个列另外排序

    
    
    
    1
2
3
4
5
6