Hive动态分区

动态分区

insert overwrite table_part1 partition(dt="2016-09-03")
select * from test_data 

test_data表

id	name
1	Liming
2	Jenny
3	Denny

上面代码是往表的某一个固定分区插入数据
但是当我们要插入的分区不确定的时候，该怎么做？
这时候就会用到动态分区。
insert overwrite table_part partition(dt)
select id as dt,name
from test_data

我们从test_data表中取出id，作为分区，最后会产生三个分区，以id作为分区，如下图：

dt=1
dt=2
dt=3

每个分区中存放了一条数据。

执行语句前需要设置属性：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

动态分区也就是当要插入分区表的分区字段不确定的时候，使用表中的某个字段或者自定义的变量作为分区的字段。

动态删除分区：

当我们需要批量删除分区，会用到动态删除分区，其实命令比较简单
alter table table_part drop partition(dt<”10”);
在删除分区的时候，是按照字符串的顺序来删除的。
例如：若有以下分区
dt=A1
dt=a
dt=A2
alter table table_part drop partition(dt<”a”);
会将dt=A1和dt=A2全部删除