Hive动态分区调整

1、概述

  在关系型数据库中，对分区表Insert数据的时候，数据库会自动根据分区字段的值，将数据插入到相应的分区中，Hive中也提供了的机制，即动态分区（Dynamic Partition），只不过，使用Hive的动态分区，需要进行相应的配置。

2、开启动态分区参数设置

（1）开启动态分区功能（默认true，开启）

hive.exec.dynamic.partition=true

（2）设置为非严格模式（动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区，nonstrict模式表示允许所有的分区字段都可以使用动态分区）

hive.exec.dynamic.partition.mode=nonstrict

（3）在所有执行MapReduce的节点上，最大一共可以创建多少个动态分区。默认1000。

hive.exec.max.dynamic.partitions=1000

hive.exec.max.dynamic.partitions=1000
（4）在每个执行MapReduce的节点上，最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如：源数据中包含了一年的数据，即day字段有365个值，那么该参数就需要设置成大于365，如果使用默认值100，则会报错。

hive.exec.max.dynamic.partitions.pernode=100

（5）整个MapReduce Job中，最大可以创建多少个HDFS文件。默认100000。

hive.exec.max.created.files=100000

（6）当有空分区生成时，是否抛出异常。一般不需要设置。默认false。

hive.error.on.empty.partition=false

3、案例实操

  需求：将dept表中的数据按照地区（loc字段），插入到目标表dept_partition的相应分区中。
（1）创建目标分区表

hive (default)> 
create table dept_partition_dynamic(
    id int, 
    name string
) 
partitioned by (loc int) 
row format delimited fields terminated by '\t';

（2）设置动态分区

set hive.exec.dynamic.partition.mode = nonstrict;
hive (default)> 
insert into table dept_partition_dynamic 
partition(loc) 
select 
    deptno, 
    dname, 
    loc 
from dept;

（3）查看目标分区表的分区情况

hive (default)> show partitions dept_partition_dynamic;