动态分区的作用
分区类型主要用于根据select查询字段内容,动态分配至对应分区内。
动态分区种类
- 动态分区:所有分区内容均由查询的字段内容决定;
- 静态分区:所有分区名称都已经确定;
- 半动态分区:指定分区中,有部分是可变,部分固定。
使用样例
-- 以pt为分区的表
create table test(
col string)
partitioned by
(pt_1 string,
pt_2 string);
-- 根据col_2字段内容分发到指定的分区内
insert into table test partition(pt_1="a",pt_2)
select col_1, col_2 as pt_2 from test_1;
注:上例中,使用半动态分区的方式,pt_1使用静态分区,Pt_2分区使用动态分区。
使用动态分区的步骤
- 设置动态分区参数;
set Hive.exec.dynamici.partition=true
set Hive.exec.dynamici.partition.mode=strict -- 半动态分区
set Hive.exec.dynamici.partition.mode=nonstrict -- 全动态分区
set hive.exec.max.dynamic.partitions =1000 -- 最大的动态分区个数,默认1000
- 设置INSERT INTO TABLE 分区。
insert into table test partition(pt_1="a",pt_2) select ……
遇到的坑
问题1:静态分区不需要占位列,列数异常
根据查询结果插入动态分区表时候,出现以下异常信息,是因为查询的列数目大于目标表的列数目;
静态分区名已确定,不能作为占位符。
样例:
insert into table test partition(pt_1="a",pt_2) select col_1, col_1 as pt_1 ,col_2 as pt_2 from test_1;
由于pt_1分区已固定,所以上述设置会出现异常列数量异常。
异常信息:
FAILED: SemanticException [Error 10044]: Line 1:23 Cannot insert into target table because column number/types are different ‘province’: Table insclause-0 has 5 columns, but query has 6 columns.