DataX｜hive-staging_hive 路径类型失败报错处理

DataX 报错信息

2024-07-31 05:48:10.511 [job-0] ERROR HdfsReader$Job - 检查文件[obs://.../pt=20240730/.hive-staging_hive_2024-07-
31_03-41-21_751_8185968661939416891-559/_task_tmp.-ext-10002/_tmp.000012_0]类型失败,目前支持
ORC,SEQUENCE,RCFile,TEXT,CSV五种格式的文件,请检查您文件类型和文件是否正确

报错原因

这是因为在 Spark SQL、Hive SQL 等执行 INSERT OVERWRITE 语句后，会在准备写入的分区目录下，生成以 .hive-staging_hive 开头的临时目录，用于临时存放执行结果。如果 SQL 执行失败，则这个临时目录及其中的临时文件无法被自动删除。即使 SQL 被重新执行并执行成功，这个目录也不会被删除。

而我们使用 DataX 时，若将将 hdfsreader 的 path 参数配置如下：

"path":".../'${hive_db}$'.db/'${hive_tb_name}$'/pt='${pt}$'/*",

则会导致 DataX 扫描到这些临时文件，因为无法解析而触发报错。

解决方案

1. 临时解决方法：将 Hive 生成的临时目录删除，重新执行 DataX 脚本即可。但是，如果上游 Hive 任务有偶尔会失败，那么每次失败都需要重新手动删除临时文件。
2. 修改 DataX 脚本：修改 DataX 脚本，将 hdfsreader 的 path 参数配置增加正则匹配分区中的文件名："path":".../'${hive_db}$'.db/'${hive_tb_name}$'/pt='${pt}$'/[0-9a-zA-z]*"。这样，无论上游 Hive 是否失败，是否产生了临时文件，都不需要手动删除临时文件，即可保证 DataX 任务可以正确运行。
3. 修改 Hive 配置：详见 【大数据】hive 删除临时文件 .hive-staging_hive - TorboWay - 博客园