Hive Code2报错排查

前言

大多数可能的code2报错一般是内存不够，所以加下面这个配置可以有效解决这个问题
set hive.auto.convert.join = false; #取消小表加载至内存中
但这个不一定是因为内存不够，其实很多错误都是报这种官方错误的，所以一定要去yarn上看日志。

很多人看日志也找不到问题，因为并没有看到全部日志，翻到最底下，点击check here 才能看到完整日志

1、内存不足导致code2报错

上面已经举例，如果该参数无法解决可以使用如下的配置

set mapreduce.map.memory.mb=4096;
set mapreduce.map.java.opts=-Xmx3686m;
set mapreduce.reduce.memory.mb=6144;
set mapreduce.reduce.java.opts=-Xmx5120m;

set hive.support.concurrency=false;
SET hive.auto.convert.join=false;

set mapred.max.split.size=256000000;
set mapred.min.split.size=10000000;
set mapred.min.split.size.per.node=8000000;
set mapred.min.split.size.per.rack=8000000;

2、动态分区文件过多

错误日志：

 Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to 100 partitions per node, number of dynamic partitions on this node: 101

原因：
Hive对其创建的动态分区数量实施限制。默认值为每个节点100个动态分区，所有节点的总（默认）限制为1000个动态分区。但是，这可以