【解决】hive动态增加partitions不能超过100的问题

最新推荐文章于 2023-02-03 14:41:35 发布

大数据部

最新推荐文章于 2023-02-03 14:41:35 发布

阅读量3.1k

点赞数 3

分类专栏：批量:Hive/Spark/Hbas 文章标签： hive

本文链接：https://blog.csdn.net/BDCHome/article/details/46965857

版权

批量:Hive/Spark/Hbas 专栏收录该内容

58 篇文章 0 订阅

订阅专栏

Author： kwu

【解决】hive动态增加partitions不能超过100的问题，全量动态生成partitions超过100会出现如下异常：

The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100

解决100限制，可设置如下参数：

set hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.max.dynamic.partitions=100000; 
SET hive.exec.max.dynamic.partitions.pernode=100000; 
insert overwrite table ods.cms_entity PARTITION (DAY)
select 
ENTITY_ID  ,
ENTITY_NAME  ,
ENTITY_DESC  ,
ENTITY_TYPE  ,
ENTITY_PID  ,
ENTITY_TIME  ,
ENTITY_PRIORITY  ,
ENTITY_STATUS  ,
ENTITY_CHANNEL  ,
ENTITY_EDITOR  ,
ENTITY_TEMPLATE  ,
ENTITY_URL    ,
ENTITY_CATEGORY  ,
ENTITY_PARAM  ,
ENTITY_SHORTNAME  ,
ENTITY_SUBTYPE  ,
ENTITY_COMPDELAY  ,
day
from stage.cms_entity_by_day;

设置动态partitions为100000，该语句插入几年按天的partitions超过1000个，成功执行语句。