hadoop hive 动态分区

应用场景

突然业务有要求，要求将以前的每个月的数据进行抽取保存。如果只是单纯一条一条的执行，又太过于繁琐。作为程序员，这肯定不能忍。所以，这个时候，就需要动态分区了。

重要参数

// 动态分区
set hive.exec.dynamic.partition=true;
// 非严格模式。可以不指定特定的分区。如果是严格模式，那么至少要指定一个分区
set hive.exec.dynamic.partition.mode=nonstrict;
// 最大分区数量
set hive.exec.max.dynamic.partitions.pernode=1000;

示例

insert into TABLE TEST_NEW partition(dt)
select test,dt
from test_old
where dt>=20180501 and dt<=20180502 ;