开发小计-hive数据异常（二）

最新推荐文章于 2022-04-20 18:41:39 发布

提刀向太守

最新推荐文章于 2022-04-20 18:41:39 发布

阅读量206

点赞数 1

分类专栏：开发小计文章标签： hive

本文链接：https://blog.csdn.net/xiaosacaiyunjian/article/details/120852736

版权

开发小计专栏收录该内容

3 篇文章 0 订阅

订阅专栏

在执行Hive脚本重跑数据时遇到IO异常，导致数据重跑失败。异常信息显示为无法重命名HDFS路径。为解决此问题，首先通过`hadoop fs -ls`命令检查目标路径是否存在，然后使用`hadoop fs -rm -r`命令删除原有数据。成功删除后，重试数据重跑操作，问题得到解决。

摘要由CSDN通过智能技术生成

最近执行hive 脚本重跑数据的时候，出现数据重跑失败，创建的是外表。重跑数据报以下异常：

// ${hdfsPath} 为具体的hdfs 路径，此处做伪代码处理

INFO Failed with exception java.io.IOException: rename for src path: ${hdfsPath} to dest path:${hdfsPath} returned false
INFO FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. java.io.IOException: rename for src path:${hdfsPath} to dest path:${hdfsPath} returned false

以上错误基本信息是发生IO 异常，无法重命名hdfs 地址，重跑数据需要删除原始数据，应该是没有删除，所以执行以下命令进行数据删除

一、先查询目标dt 是否存在

hadoop fs -ls ${url}

二、执行脚本删除

hadoop fs -rm -r ${url}

删除后重试成功