[Hive]动态分区笔记

动态分区的作用

分区类型主要用于根据select查询字段内容，动态分配至对应分区内。

动态分区种类

• 动态分区：所有分区内容均由查询的字段内容决定；
• 静态分区：所有分区名称都已经确定；
• 半动态分区：指定分区中，有部分是可变，部分固定。

使用样例

-- 以pt为分区的表
create table test(
col string)
partitioned by 
(pt_1 string,
pt_2 string);


-- 根据col_2字段内容分发到指定的分区内
insert into table test partition(pt_1="a",pt_2)
select col_1, col_2 as pt_2 from test_1;

注：上例中，使用半动态分区的方式，pt_1使用静态分区，Pt_2分区使用动态分区。

使用动态分区的步骤

• 设置动态分区参数；

set Hive.exec.dynamici.partition=true
set Hive.exec.dynamici.partition.mode=strict -- 半动态分区
set Hive.exec.dynamici.partition.mode=nonstrict  -- 全动态分区
set hive.exec.max.dynamic.partitions =1000 -- 最大的动态分区个数，默认1000

• 设置INSERT INTO TABLE 分区。

insert into table test partition(pt_1="a",pt_2) select ……

遇到的坑

问题1：静态分区不需要占位列，列数异常

根据查询结果插入动态分区表时候，出现以下异常信息，是因为查询的列数目大于目标表的列数目；

静态分区名已确定，不能作为占位符。

样例:

insert into table test partition(pt_1="a",pt_2)
select col_1, col_1 as pt_1 ,col_2 as pt_2 from test_1;

由于pt_1分区已固定，所以上述设置会出现异常列数量异常。

异常信息：

FAILED: SemanticException [Error 10044]: Line 1:23 Cannot insert into target table because column number/types are different ‘province’: Table insclause-0 has 5 columns, but query has 6 columns.