hive的String类型字段中包含NUL,通过sqoop导出mysql报错

最新推荐文章于 2022-07-28 12:12:05 发布

黄土高坡上的独孤前辈

最新推荐文章于 2022-07-28 12:12:05 发布

阅读量543

点赞数 1

分类专栏： Sqoop

本文链接：https://blog.csdn.net/lihuazaizheli/article/details/110920680

版权

1 篇文章 0 订阅

订阅专栏

1.问题

在hive表student中, name字段类型为String,其名字中含有 NUL(这是一个特殊字符) ,导致导出数据错位,会报错 numberFormatException等.

2.1.hive中字符串类型的NUL在hdfs上的数据,用nodepad打开是NUL,这和hive中的NULL值在hdfs上是 \N不一样

在这里插入图片描述

2.2.将hive字符串中包含NUL的数据通过dbeaver导出成hiveSql,用nodepad查看,能够看到不可见字符NUL
在这里插入图片描述
2.3 hive字符串中包含NUL的数据直接通过dbeaver查看,是看不到的

3.1 NUL在nodepad中如何替换
将查找模式改为正则表达式,输入\x00 ,即可搜索到NUL,可以替换成’’

在这里插入图片描述
3.2 hiveSql中如何替换

将NUL替换掉

 select  regexp_replace(STUDENT_NAME,'\\x00','')   from   ods.student_table;
 注意 '\x00' 需要加一个转义符\,正则中写'\\x00'

关注