Hive动态分区实战指南-CSDN博客

本文链接：https://blog.csdn.net/SW_LCC/article/details/99707621

本文介绍了Hive的动态分区功能，动态分区允许在插入数据时即时创建分区，无需预先定义。与静态分区不同，静态分区需在建表时指定分区字段。文中详细讲解了动态分区的使用和参数设置，并对比了动态与静态分区的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hive动态分区的使用

动态分区可以即时给表添加分区，不用通过修改sql实现。
允许在插入的时候指定分区，分区字段为插入时字段的位置决定。

例如：

FROM page_view_stg pvs
INSERT OVERWRITE TABLE page_view PARTITION(dt='2008-06-08', country)
       SELECT pvs.viewTime, pvs.userid, pvs.page_url, pvs.referrer_url, null, null, pvs.ip, pvs.cnt

其中country分区为pvs.cnt字段。

动态分区参数

配置参数	默认值	含义
hive.exec.max.dynamic.partitions.pernode	100	每个map或reduce允许创建的最大分区个数
hive.exec.max.dynamic.partitions	1000	允许创建的最大动态分区数
hive.exec.max.created.files	100000	可创建的最大文件个数
hive.exec.dynamic.partition.mode	strict	strict需要有静态分区字段，nonstrict允许所有分区都是动态的
hive.exec.dynamic.partition	false	是否开启动态分区
hive.error.on.empty.partition	false	是否抛异常，如果动态分区结果为空

与静态分区的区别

静态分区需要在建表时指定分区字段，例如：

CREATE TABLE page_view(viewTime INT, userid BIGINT,
     page_url STRING, referrer_url STRING,
     ip STRING COMMENT 'IP Address of the User')
 COMMENT 'This is the page view table'
 PARTITIONED BY(dt STRING, country STRING)
 STORED AS SEQUENCEFILE;