目录
0 参考列表
阿里云:分区和列操作https://help.aliyun.com/document_detail/73771.html
1 概念
分区表是指拥有分区空间的表,即在创建表时指定表内的一个或者某几个字段作为分区列.分区表实际就是对应分布式文件系统上的独立的文件夹,一个分区对应一个文件夹,文件夹下是对应分区所有的数据文件.
2 语法
2.1 DDL
2.1.1 创建分区表
create table table_name (
column_name data_type comment '注释'
...
)
partitioned by (partition_key data_type comment '注释', ...)
;
2.1.2 添加分区
alter table table_name add [if not exists]
partition (partition_col1 = partition_col_value1, ...)
partition ...
;
2.1.3 删除
(1) 清空分区
-- 1 清空指定分区的数据
truncate table table_name partition(...),...;
-- 2 根据条件清空多个分区的数据
truncate table table_name partition(partition_filtercondition);
(2) 删除分区
-- 1 删除分区
alter table table_name drop [if exists]
partition(partition_col1 = partition_col_value1, ...)
,partition...;
-- 2 根据条件删除分区
-- 支持多个分区过滤表达式,表达式之间是or的关系
alter table table_name drop [if exists] partition(分区条件,...),partition(分区条件);
2.2 DML
2.2.1 插入数据
2.2.1.1 静态分区
(1) insert into(向分区中追加数条数据,无论分区是否存在)
-- 1 插入数据,可指定列
insert into table <table_name>
partition (<pt_spec>) [(col_name ,col_name...)]
values (value1,value2,...valueN)
,(...)
;
-- 2 查询插入数据
insert into table <table_name>
partition (<pt_spec>) [(col_name,col_name...)]
select col_name... from 旧表名;
(2) insert overwrite(覆写数据)
insert overwrite table <table_name>
partition (<pt_spec>)
select col_name... from 旧表名;
2.2.1.2 动态分区
insert {into|overwrite} table table_name
partition (<pt_spec>)
select
col_name
...
,分区列
from 旧表名
;
2.2.2 修改
(1) 修改分区值
alter table table_name partition (partition_col1 = partition_col_value1, ...)
rename to partition (partition_col1 = partition_col_value2, ...);
2.2.3 查询
(1) 查询分区
show partitions table_name;
(2) 查看分区信息
describe extended table_name partition(分区名 = 分区值);
(3) 条件查询
select
col_name...
from table_name
where 分区列的条件
and [条件]
;
3 参数
①hive.exec.dynamic.partition = true:开启动态分区;
②hive.exec.dynamic.partition.mode = nonstrict:默认strict表示必须指定至少一个分区为静态分区,nonstrict表示允许所有的分区字段都可以使用动态分区;
③hive.exec.max.dynamic.partitions = 5000:设置最大分区数.