sqoop在导出数据到Mysql时报错“None“

当使用sqoop从Hive导出数据到Mysql时遇到'None'错误,尝试对空和空字符串处理无效。部分表能成功导出,但仍有表报错。最终通过在Hive内部清洗数据,将'None'替换为null解决了问题。
摘要由CSDN通过智能技术生成

sqoop在导出数据到Mysql时报错"None"

需求:将其他部门提供的数据导出到指定Mysql库
因为一开始的需求是原样导出所以就按需求直接导出到Mysql,但是一直在报错
在这里插入图片描述
在查看数据内容时看到在hive中有’None’的字符串,None在Python中表示空,用sqoop导出时会报错

增加对空和空字符串做处理也解决不了
--null-string '\\N'
--null-non-string '\\N'

但是在hive到hdfs时可以对字段进行处理

insert overwrite  directory 'load/path' row format delimited fields terminated by '\t'
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值