分区表
含义:
分区表实际上就是对应一个HDFS文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHER.E子句中的表达式选择查询所需要的指定的分区.
作用:
将数据存储在表的不同文件夹中,根据分区字段查询,会直接锁定文件夹,减少加载数据量,并且不用过滤,提升查询效率
静态分区表:
partitioned by 创建分区表
create table tb_log3(
name string ,
cdate string
)
partitioned by (my_month string , my_day string) -- 指定分区字段 分区字段属于表的结构
row format delimited fields terminated by ',' ;
动态分区表:
create table tb_dong(
id int ,
birthday string ,
cost int
)
partitioned by(bt string)
row format delimited fields terminated by '\t' ;
开启动态分区前需配置参数
set hive.exec.dynamic.partition=true //使用动态分区
set hive.exec.dynamic.partition.mode=nonstrick;//非严格模式
分区表方法:
增加分区:
alter table tb_name add partition(my_month='201706',my_day='') ;
alter table tb_name add partition() partition();
查看所有分区:
show partitions tb_name;
删除分区:
alter table tb_name drop partition(month='201704');
alter table tb_name drop partition (month='201705'), partition (month='201706');
分桶表:
含义:
对Hive表分桶可以将表中记录按分桶键(字段)的哈希值分散进多个文件中,这些小文件称为桶。
create table buck_demo(
id int,
name string
)
clustered by(id) -- 分桶字段
into 4 buckets -- 分几个桶
区别:
分区针对的是数据的存储路径;分桶针对的是数据文件。