hive的分区表与分桶表的介绍

分区表

含义:

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHER.E子句中的表达式选择查询所需要的指定的分区.

作用:

将数据存储在表的不同文件夹中,根据分区字段查询,会直接锁定文件夹,减少加载数据量,并且不用过滤,提升查询效率

 静态分区表:

partitioned by 创建分区表

create table tb_log3(
name string ,
cdate string
)
partitioned by (my_month string  , my_day string) -- 指定分区字段  分区字段属于表的结构
row format delimited fields  terminated by ',' ;

动态分区表:

create table tb_dong(
id  int ,
birthday string ,
cost int
) 
partitioned by(bt string)
row format delimited fields terminated by '\t' ;

 开启动态分区前需配置参数

set hive.exec.dynamic.partition=true //使用动态分区

set hive.exec.dynamic.partition.mode=nonstrick;//非严格模式

分区表方法:

增加分区:

alter table tb_name add partition(my_month='201706',my_day='') ;

alter table tb_name add partition() partition();

查看所有分区:

show partitions tb_name;

删除分区:

alter table tb_name drop partition(month='201704');

alter table tb_name drop partition (month='201705'), partition (month='201706');

分桶表:

含义:

对Hive表分桶可以将表中记录按分桶键(字段)的哈希值分散进多个文件中，这些小文件称为桶。

create table buck_demo(
id int, 
name string
)
clustered by(id) -- 分桶字段
into 4 buckets   -- 分几个桶

区别:

分区针对的是数据的存储路径；分桶针对的是数据文件。