hive sql 将查询数据导入csv文件中因字符串中有换行符导致出现文段换行的问题

一、此篇博客主要记录在此次从hive表中查询数据导入到csv文件中,因为某个字符串字段中含有大量的换行符导致存入在csv文件中的数据出现了换行、错位的情况,以此记录

二、最终实现sql如下:

hive -e "set hive.cli.print.header=true; SELECT id,msg_id,regexp_replace(msg_title,'\\\\n|\\n|\\r|\\\\r','') as msg_title,regexp_replace(msg_content,'\\\\n|\\n|\\r|\\\\r','') as msg_content,msg_time,msg_classify from gov_ods.mps_message_full_delta WHERE msg_time >= '2020-03-07'" | sed 's/\t/||/g'  > message_full.csv

注:由上指令可以看出是msg_title和msg_content字段出现了换行符,在hive sql中使用了regexp_replace()函数去实现了替换,替换内容:\\\\n|\\n|\\r|\\\\r  替换成''

 

 

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值