insert overwrite 时发生了上述错误,因为之前的定时任务已经操作过一次,但中途失败了,重跑后就报了这个错误,猜测可能是hdfs上已经有了这个分区,但是show partitions时却看不到新分区。
所以根本原因就是:该分区表在 HIVE中的元数据与HDFS上实际的数据不一致,当执行 insert overwrite 操作时,hive 通过存储在 metastore 中的元数据信息发现目标分区并不存在,也就不会尝试去执行hdfs上该分区对应目录的删除操作了,而实际上hdfs上该分区对应的目录和文件都是存在的,所以作业底层的 rename 操作失败了。
解决方案:
修复 hive 元数据跟hdfs实际的数据一致,使用命令 msck repair table xxx来修复hive表的元数据。
最后show partitions检查发现新分区已经加载进来了,再次执行insert overwrite就不会报错了。