sqoop抽取mysql的mediumtext字段类型,被转成ASCII

在使用sqoop抽取mysql中到hive时,其中两个字段数据发生了如下变化:

 

明显该字段被转成了ascii类型,查看Mysql中数据库表字段是mediumtext类型。

估计是不识别这种类型,找了一下资料,发现可以对字段进行转义:

--map-column-java xxx=String

如果是有多个字段需要转义的话,如下所示:

--map-column-java 字段1=String,字段2=String,字段3=String,字段4=String

其中有两个小细节,字段名必须小写,字段类型转换应该用String(首字母大写)

附源码如下:

sqoop import \
--connect jdbc:mysql://127.0.0.1:3306/dayu_call_center \
--username user\
--password password \
--query "SELECT * FROM dayu_call_center.CALL_ORDER_PROPERTY_SPLIT WHERE \$CONDITIONS "  \
--map-column-java parameter_value_replace=String,parameter_value=String \
--hive-database ods \
--split-by ID \
--hive-table dycc_call_order_property_split_int \
--target-dir /inceptor1/user/hive/warehouse/ods.db/hbxyoper/dycc_call_order_property_split_int \
--delete-target-dir \
--fields-terminated-by '\001' \
--hive-drop-import-delims \
-m 1 \
--null-string '\\N' \
--null-non-string '\\N' \
--compression-codec org.apache.hadoop.io.compress.BZip2Codec

参考文档:Sqoop import with multiple columns for --map-column-hive - Apache Sqoop - itversity

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值