Hive之分区表和分桶表

5.1 分区表

分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据
集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。
1.创建分区表
%hive
create table dept_xjl(deptno int,dname string,loc string)
partitioned by (day string)
row format delimited fields terminated by ',’;
2.加载本地的数据文件
%hive
load data local inpath ‘/home/data_xjl/dept1.txt’ into table dept_xjl partition(day=‘2021-10-25’);
load data local inpath ‘/home/data_xjl/dept2.txt’ into table dept_xjl partition(day=‘2021-10-26’);
load data local inpath ‘/home/data_xjl/dept3.txt’ into table dept_xjl partition(day=‘2021-10-27’);

5.1.1 查询分目表中数据

5.1.1.1 单分区查询

select * from dept_xjl where day=‘2021-10-25’

5.1.1.2 多分区联合查询

%hive
select * from dept_xjl where day='2021-10-25'
union 
select * from dept_xjl where day='2021-10-26'
union 
select * from dept_xjl where day='2021-10-27';
或
%hive
select * from dept_xjl where day='2021-10-25' or day='2021-10-26'  or day='2021-10-27'

5.1.1.3 增加分区

alter table dept_xjl add partition(day='2021-10-28') partition(day='2021-10-29') partition(day='2021-10-30')

5.1.1.4 删除分区

alter table dept_xjl drop partition(day='2021-10-30'),partition(day='2021-10-29'),partition(day='2021-10-28')

5.1.1.5 查看分区

show  partitions dept_xjl

5.1.1.6 查看分区结构

desc formatted dept_xjl

5.1.1.6 创建二级分区表

create table dept_xjl2(
deptno int, dname string, loc string 
)
partitioned by (day string ,hour string)
row format delimited fields terminated by '\t';

5.1.1.6 动态分区调整

关系型数据库中，对分区表 Insert 数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive 中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用 Hive 的动态分区，需要进行相应的配置。

5.1.1.7 开启动态分区参数设置

（1）开启动态分区功能（默认 true，开启）

set hive.exec.dynamic.partition=true;

（2）设置为非严格模式（动态分区的模式，默认 strict，表示必须指定至少一个分区为静态分区，nonstrict 模式表示允许所有的分区字段都可以使用动态分区。）

set hive.exec.dynamic.partition.mode=nonstrict

（3）在所有执行 MR 的节点上，最大一共可以创建多少个动态分区。默认 1000

set hive.exec.dynamic.partitions=1000

（4）在每个执行 MR 的节点上，最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如：源数据中包含了一年的数据，即 day 字段有 365 个值，那么该参数就需要设置成大于 365，如果使用默认值 100，则会报错。

set hive.exec.dynamic.partitions.pernode=100;

（5）整个 MR Job 中，最大可以创建多少个 HDFS 文件。默认 100000

set hive.exec.created.files=100000;

（6）当有空分区生成时，是否抛出异常。一般不需要设置。默认 false

hive.error.on.empty.partition=false

需求：将 dept 表中的数据按照地区（loc 字段），插入到目标表 dept_partition 的相应分区中。
（1）创建目标分区表

 create table dept_xjl2(dname string, loc string)
partitioned by (deptno int)
row format delimited fields terminated by ',';

insert into table dept_xjl2 partition(deptno)
select dname,loc,deptno from dept_xjl;

注：最后一个查询字段deptno应与分区字段deptno相对应

5.2 分桶表

分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区。对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围
划分。
分桶是将数据集分解成更容易管理的若干部分的另一个技术。
分区针对的是数据的存储路径；分桶针对的是数据文件。

5.2.1 创建分桶表

（1）创建分桶表

create table stuBuck_xjl(id int,name string)
clustered by(id)   //指定分桶字段
into 4 buckets      //指定分桶个数
row format delimited fields terminated by ',';

（3）查看表结构

desc formatted stuBuck_xjl

（4）导入数据到分桶表中，load方式
（5）分桶规则
根据结果可知：Hive 的分桶采用对分桶字段的值进行哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。