大数据——hive插入动态分报错（Error during job, obtaining debugging information... ）

在hive中插入动态分区时报错：

Error during job, obtaining debugging information…
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

原因

创建的动态分区数超过节点默认允许创建的最大动态分区数，超过了总共默认允许创建的最大动态分区数。

解决办法

hive> set hive.exec.max.dynamic.partitions=50000;
hive> set hive.exec.max.dynamic.partitions.pernode=10000;

动态分区的相关配置

insert往分区表插入数据时，我们可以指定分区字段名和值，分区字段的值是可选的，如果指定分区字段值，我们称之为静态分区，否则称之为动态分区，动态分区创建根据数据的列决定。在Hive 0.9.0版本以前，动态分区插入默认是关闭的，在Hive 0.9.0版本及更高版本，默认是打开的。关于动态分区插入，有几个相关的配置：

参数	默认值	说明
hive.exec.dynamic.partition	true	设置为true表示启用动态分区插入
hive.exec.dynamic.partition.mode	strict	stric模式时用户必须至少指定一个静态分区；nonstric模式时所有分区都可能是动态分区
hive.exec.max.dynamic.partitions.pernode	100	每个mapper/reducer节点允许创建的最大动态分区数
hive.exec.max.dynamic.partitions	1000	总共允许创建的最大动态分区数
hive.exec.max.created.files	100000	一个MR job中允许创建多少个HDFS文件
hive.error.on.empty.partition	false	当动态分区插入产生空值时是否抛出异常