hive import 数据报错问题

一、故障现象

经反馈，租户在hive使用 import导入数据的时候出现报错现象

1. 报错的语句：

import table $db_user.$table_name partition($p_partition) from '/files/ftp2/zhihui2061/qianyi/$table_name';

2. 报错截图：

FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.CopyTask. org/apache/hadoop/tools/DistCpOptions

3. 经排查，批量import的情况下小表导入成功，但是大表都导入失败，所以我打算debug测试一下

 hive -hiveconf hive.root.logger=DEBUG,console

 执行语句：

import table OPEN_087_DWD.DWD_V_M_ACC_AL_CHARGE partition(p_month = '202004') from '/files/ftp2/zhihui2061/qianyi/DWD_V_M_ACC_AL_CHARGE';

通过日志中发现报错出现在：

我们可以猜到是由于数据量超过一定限额导致，这个限额就是32M

二、解决

hive 最后移动数据的时候，需要调用hadoop-distcp-X.X.X.jar  我们的hive客户端下lib目录中没有这个jar包

解决方法：只需要把$HADOOP_HOME/share/hadoop/tools/lib/hadoop-distcp-x.x.x.jar 拷贝到 $HIVE_HOME/lib下面解决

三、总结

当然，如果hive表在HDFS上面存储的文件只要不超过33554432字节（也就是32M），就不需要使用到 org/apache/hadoop/tools/DistCpOptions 类，那么就不用把hadoop-distcp-x.x.x.jar 架包拷贝到hive的lib目录。这也是上面报错 INFO  common.FileUtils: [main]: Source is 38132604 bytes. (MAX: 33554432) 的原因。

同理，export的时候也会有相关报错