Hive动态分区&Partition中使用函数

最新推荐文章于 2025-03-11 15:49:48 发布

小哇666

最新推荐文章于 2025-03-11 15:49:48 发布

阅读量2.5k

点赞数

分类专栏： # hive 文章标签： hive

本文链接：https://blog.csdn.net/qq_41712271/article/details/107583808

版权

hive 专栏收录该内容

28 篇文章

订阅专栏

本文介绍如何在Hive中设置动态分区，包括分区表的创建、动态分区参数的配置，以及通过示例展示如何使用动态分区插入数据。动态分区能够提高数据加载效率，适用于批量数据导入场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

步骤1: 建立好分区表
步骤2: 设置分区参数

set hive.exec.dynamic.partition=true;(可通过这个语句查看：set hive.exec.dynamic.partition;) 
set hive.exec.dynamic.partition.mode=nonstrict; 
SET hive.exec.max.dynamic.partitions=100000;(如果自动分区数大于这个参数，将会报错)
SET hive.exec.max.dynamic.partitions.pernode=100000;

示例如下：
ymonth为分区字段，以202001,202002的年月的样子，实现动态分区
concat(substr(CURRENT_DATE,1,4),substr(CURRENT_DATE,6,2)) 为分区用的函数
注意: select 中的 ymonth要放到最后面

set hive.exec.dynamic.partition=true;  
set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table aaaaa partition(ymonth)
select mdm_proj_mpvalue,
mdm_proj_mnvalue,
concat(substr(CURRENT_DATE,1,4),substr(CURRENT_DATE,6,2)) ymonth 
from bbbbbb;