Hive Distribute by 应用之动态分区小文件过多问题优化

目录

0 问题现象及原因分析

1 问题解决

解决办法

2 由以上问题引出的问题

3 思考

4 小结

---

---

0 问题现象及原因分析

现象：

[Error 20004]: Fatal error occurred when node tried to create 
too many dynamic partitions. The maximum number of dynamic 
partitions is controlled by hive.exec.max.dynamic.partitions and 
hive.exec.max.dynamic.partitions.pernode. Maximum was setto: 100

原因：

Hive对其创建的动态分区数量实施限制。默认值为每个节点100个动态分区，所有节点的总（默认）限制为1000个动态分区。但是，这可以调整。

1 问题解决

解决办法

set hive.exec.dynamic.partition=true;
set hive.exec.max.dynamic.partitions=2048;
set hive.exec.max.dynamic.partitions.pernode=256;