Hive的动态分区

 

以前hive 建动态分区的时候由于分区数比较少，所以一直都是设置两个参数：

set hive.exec.dynamic.partition=true;------是否开启动态分区功能，默认值是false，使用动态分区所以设置为true
set hive.exec.dynamic.partition.mode=nonstrict;-----动态分区的模式，默认strict，表示必须指定至少一个分区为静态分区，而nostrict表示允许所有分区字段为动态分区。

今天建hive动态分区表的时候碰到的一个报错

看报错信息Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100说明这个job的在每个节点的需要创建分区数超过了默认的100个，通过对分区字段进行group by 聚合算到分区数有261个，所以这里我们设置  set hive.exec.max.dynamic.partitions.pernode=300，问题就得到解决了。这里我总结下hive创建分区常用的一些参数设置：

set hive.exec.dynamic.partition=true;------是否