1、概述
在关系型数据库中,对分区表Insert数据的时候,数据库会自动根据分区字段的值,将数据插入到相应的分区中,Hive中也提供了的机制,即动态分区(Dynamic Partition),只不过,使用Hive的动态分区,需要进行相应的配置。
2、开启动态分区参数设置
(1)开启动态分区功能(默认true,开启)
hive.exec.dynamic.partition=true
(2)设置为非严格模式(动态分区的模式,默认strict,表示必须指定至少一个分区为静态分区,nonstrict模式表示允许所有的分区字段都可以使用动态分区)
hive.exec.dynamic.partition.mode=nonstrict
(3)在所有执行MapReduce的节点上,最大一共可以创建多少个动态分区。默认1000。
hive.exec.max.dynamic.partitions=1000
hive.exec.max.dynamic.partitions=1000
(4)在每个执行MapReduce的节点上,最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如:源数据中包含了一年的数据,即day字段有365个值,那么该参数就需要设置成大于365,如果使用默认值100,则会报错。
hive.exec.max.dynamic.partitions.pernode=100
(5)整个MapReduce Job中,最大可以创建多少个HDFS文件。默认100000。
hive.exec.max.created.files=100000
(6)当有空分区生成时,是否抛出异常。一般不需要设置。默认false。
hive.error.on.empty.partition=false
3、案例实操
需求:将dept表中的数据按照地区(loc字段),插入到目标表dept_partition的相应分区中。
(1)创建目标分区表
hive (default)>
create table dept_partition_dynamic(
id int,
name string
)
partitioned by (loc int)
row format delimited fields terminated by '\t';
(2)设置动态分区
set hive.exec.dynamic.partition.mode = nonstrict;
hive (default)>
insert into table dept_partition_dynamic
partition(loc)
select
deptno,
dname,
loc
from dept;
(3)查看目标分区表的分区情况
hive (default)> show partitions dept_partition_dynamic;