关于hive 加载数据失败的问题 原因分析

1. 近期在向hive 中加载数据的时候，发现有几天老是报错如下：

 

通过报错信息：主要从如下个方面进行排查：

 *数据文件完整性

 *数据压缩格式是否支持

 *java io 流读取文件有问题

 

因为报错的数据文件不是所有的，只是13-21号 以及 23以后的数据文件加载异常，其他均正常。故排除后俩项原因。然后我对比了22号的 与 25 号的数据文件，发现有许多数据文件的size 为0，然后用zcat 测试 文件，报如下信息：

 

确定确实是数据文件的问题导致的，于是将size 为0 的数据文件删除，hive 正常加载！