Hive报错:Unable to move source hdfs:****** to destination hdfs:******(已解决)

文章讨论了Hive在尝试insertoverwrite时遇到的错误,原因是Hive元数据与HDFS上的实际分区不匹配。解决方法是使用msckrepairtable命令修复元数据,确保其与HDFS数据一致,从而避免rename操作失败。
摘要由CSDN通过智能技术生成

insert overwrite 时发生了上述错误,因为之前的定时任务已经操作过一次,但中途失败了,重跑后就报了这个错误,猜测可能是hdfs上已经有了这个分区,但是show partitions时却看不到新分区。

所以根本原因就是:该分区表在 HIVE中的元数据与HDFS上实际的数据不一致,当执行 insert overwrite 操作时,hive 通过存储在 metastore 中的元数据信息发现目标分区并不存在,也就不会尝试去执行hdfs上该分区对应目录的删除操作了,而实际上hdfs上该分区对应的目录和文件都是存在的,所以作业底层的 rename 操作失败了。

解决方案:

修复 hive 元数据跟hdfs实际的数据一致,使用命令 msck repair table xxx来修复hive表的元数据。

最后show partitions检查发现新分区已经加载进来了,再次执行insert overwrite就不会报错了。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值