sqoop导出mysql数据到hive中,因mysql中string类型字段中含有换行符导致拉取到hive,格式不正确,出现错误等现象

问题描述

sqoop拉取mysql数据到hive中出现现象

  • mysql数据到hive结构不对了,被打散了,变成一行一行中只有第一列有数据,其他均为null。
  • 或者压根就直接报错sqoop Opening field-encloser expected at position 0

出现原因

因为mysql某个字段中出现换行符,导致数据拉取时出现还没有拉去完直接进行了换行,算作下一行数据的开头。

解决办法

再sqoop拉取命令中加上这样一个命令

  • --hive-drop-import-delims
  • 这条命令的意思是,指定导入时删除hive的默认分隔符: \n, \r, and \01
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值