hive 动态分区插入数据异常：org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]

欢迎来到我的博客，很高兴能够在这里和您见面！欢迎订阅相关专栏：
⭐️ 全网最全IT互联网公司面试宝典：收集整理全网各大IT互联网公司技术、项目、HR面试真题.
⭐️ AIGC时代的创新与未来：详细讲解AIGC的概念、核心技术、应用领域等内容。
⭐️ 大数据平台建设指南：全面讲解从数据采集到数据可视化的整个过程，掌握构建现代化数据平台的核心技术和方法。
⭐️《遇见Python：初识、了解与热恋》 ：涵盖了Python学习的基础知识、进阶技巧和实际应用案例，帮助读者从零开始逐步掌握Python的各个方面，并最终能够进行项目开发和解决实际问题。
⭐️《MySQL全面指南：从基础到精通》通过丰富的实例和实践经验分享，带领你从数据库的基本操作入手，逐步迈向复杂的应用场景，最终成为数据库领域的专家。

异常：

Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: 
Fatal error occurred when node tried to create too many dynamic partitions. 
The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and 
hive.exec.max.dynamic.partitions.pernode. Maximum was set to 100 partitions per node, 
number of dynamic partitions on this node: 101

在 Hive 中，动态分区是非常有用的功能，但当你尝试创建过多的动态分区时，可能会遇到类似的错误。这是因为 Hive 对动态分区的数量有一些限制。你遇到的错误提示表明你尝试创建的动态分区数量超过了 Hive 的默认限制。解决这个问题可以通过调整 Hive 配置来实现。以下是一些步骤，你可以尝试进行调整：

1. 调整配置参数：

   • hive.exec.max.dynamic.partitions：这个参数控制每个作业可以创建的最大动态分区数。
   • hive.exec.max.dynamic.partitions.pernode：这个参数控制每个节点上可以创建的最大动态分区数。

   你可以通过设置这些参数来增加允许的动态分区数量。比如，你可以在 Hive CLI 或者你的 Hive 配置文件（例如 hive-site.xml）中设置这些参数：

   SET hive.exec.max.dynamic.partitions=200;
   SET hive.exec.max.dynamic.partitions.pernode=200;
   

   如果你是通过配置文件设置的，请确保你在修改 hive-site.xml 后重新启动 Hive 服务。

2. 修改 Hive 配置文件：

   如果你有权限修改 Hive 配置文件，可以直接在 hive-site.xml 中添加或修改以下配置：

   <property>
     <name>hive.exec.max.dynamic.partitions</name>
     <value>200</value>
   </property>
   <property>
     <name>hive.exec.max.dynamic.partitions.pernode</name>
     <value>200</value>
   </property>
   

   修改完毕后，重新启动 Hive 服务以使更改生效。

3. 优化数据处理：

   有时，你也可以考虑优化数据处理方式。例如，减少生成的分区数，或者使用静态分区而非动态分区。如果可能，尽量将数据分区设计得更合理，以减少每次查询需要创建的动态分区数量。

4. 监控和调试：

   在调整参数后，监控 Hive 的执行情况，确保新的配置能够解决问题，同时也注意其他潜在的性能问题。

这些步骤可以帮助你解决由于动态分区数目过多而导致的 Hive 错误。如果问题仍然存在，可以查看 Hive 的日志以获取更多详细信息，并进一步调试。

---

💗💗💗💗💗💗💗💗💗💗💗💗

💗💗💗💗💗💗💗💗💗💗💗💗