Hive 动态分区异常

Hive 动态分区异常

---

1 问题描述

使用 Hive 的动态分区功能更新表数据时出现异常，如下：

...

INFO  : Starting task [Stage-6:MOVE] in serial mode

...

ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. 
Exception when loading 20 in table brand_cshop with 
loadPath=hdfs://nameservice1/user/hive/warehouse/ods_table.db/brand_cshop/.hive-staging_hive_2022-09-28_15-47-37_355_8808068219600083857-162318/-ext-10000

注意 return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Exception when loading 20 in table，在插入数据时，mapreduce 任务没有异常，但是在 Stage-6:MOVE 阶段出现异常，这种情况下基本是源文件的分区字段出现了异常字符导致的，例如，用于动态分区的 month 字段中有中文字符导致 Hive 创建新分区时失败，或者是原数据表中的数据存在不可见字符（如 BOM 字符），我这次就是原表的文件中存在异常字符，如下图：

2 问题解决方案

检查原表的数据是否存在异常，特别是原表作为临时表是使用文本文件方式存储的，直接把文件丢到表里，查询也没有问题，但是就是因为这些字符导致动态分区出现问题。当然也要注意动态分区字段不要出现中文。

我这里文本文件有 BOM 字符，所以我是用 sed 命令将特殊字符替换为空，再执行动态分区即可。

sed -i 's/\xEF\xBB\xBF//g' test.txt