数据抽取 - 去除mysql的换行或者回车

最新推荐文章于 2024-05-04 20:42:26 发布

你看我会发光i

最新推荐文章于 2024-05-04 20:42:26 发布

阅读量551

点赞数

分类专栏： 03 Hive及数仓文章标签： sql 数据库

本文链接：https://blog.csdn.net/liyang_007/article/details/106540938

版权

03 Hive及数仓专栏收录该内容

15 篇文章 2 订阅

订阅专栏

文章目录

1. 问题
2. 解决

1. 问题

因为业务有些情况是需要用户手动输入信息的, 这个给用户的权限非常大, 里面什么特殊字符都是有可能包含进去的, 如果包含换行符就会造成一行变成两行, 这中问题怎么避免呢?

2. 解决

我们手动写sql 去除掉特殊字符然后抽取…

select
replace(replace(replace(comp_name, '|', ''),CHAR(10), ''),CHAR(13),'') as company_name
from mytable

char(10): 换行符
char(13): 回车符

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

你看我会发光i

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

mysql 替换 r n_datax transformer替换\r\n回车符

weixin_30932183的博客

02-18

1098

记录下在使用datax同步数据时处理字段值含有回车等特殊符号的处理。datax 同步用到的json配置文件(从mongo中抽数据到本地文件)：{"job": {"content": [{"reader": {"name": "mongodbreader","parameter": {"address": ["${jdbcurl}"],"collectionName": "ch_app_que_me...

抽取数据到impala数据量异常

hyfstyle的博客

03-27

1110

最近，用kettle把DB2的数据抽取到impala上，发现数据量异常，数据错开等情况。检查发现DB2源表里的数据某个字段中内容含有英文的逗号，而impala上建的表TERMINATED BY ','也用英文逗号分隔的，所以造成数据错乱；另外源表数据字段内容包含换行、回车符也会导致到impala数据分隔异常数据错乱。解决方案：针对分隔符,导致的 ;可以换一种分隔符 |，重新建表 CREATE...

参与评论您还未登录，请先登录后发表或查看评论

oracle查询出来的字符串换行符,Oracle全表抽取到HDFS中字段中换行符的处理

weixin_39732018的博客

04-03

287

问题处理,我们在抽取数据时利用/x02作为换行符,接着利用sed命令来将文件中/n替换成空格sed -i ':a;N;s/\n/ /g' file_name处理时发现文件过大,一次处理并不能将/n处理干净,因此利用脚本多次处理#!/bin/shhandle_file=$1echo "程序开始执行"date "+%Y-%m-%d %H:%M:%S"num=`cat $handle_file|wc -...

DataX的transformer过滤字段中换行符的通用方法

CSDN南华的博客

09-08

1877

"transformer": [ { "name": "dx_groovy", "parameter": { "code": "for(int i=0;i<record.getColumnNumber();i++){if(record.getColumn(i).getByteSize()!=0){Column column = record.getColumn(i...

记录一下mysql中的换行符问题

yilikun的博客

08-23

1万+

使用select导出MySQL数据的时候，字段里的\t和\n，会自动的替换成\t和\n；在使用shell、Python读取文件的时候，如果遇到了\n，不会作为行分隔符；使用split(‘\t’)函数分割的时候，如果遇到了\t，会略过；使用load data向MySQL导入数据的时候，里面的\t和\n，不会作为字段分隔符和行分隔符； ...

MySQL数据中很多换行符和回车符的解决方法

01-19

发现问题今天一大早客户给我打电话：“小陈儿，昨晚我往数据库导了几十万条数据，然后在web界面很多都搜不到，你们系统做的啥玩意儿啊？这么多BUG！得啵得啵得…”（省略2000字）又习惯性的喷了一遍我们这个项目做的辣鸡~~ 得得得，客户随便喷，我就当吃了个早饭了:slightly_smiling_face::slightly_smiling_face::slightly_smiling_face:嗝儿~嗯，真饱；我到公司后先测试一下客户给我的错误示例（果然搜不到），然后排查一下昨天的数据是否有问题，发现昨天客户用excel导入的数据中，存在很多\r\n这种换行符和回车符。如：库中数据为：“换行符\n换行符\n换行符”，然后在界面通过如下SQL查询，那自然是搜不到咯！ SELECT * from `LOL` where

【2020年数据分析岗面试题】不断更新...（含自己的理解、思考和简答）

汪雯琦的博客

03-30

8696

文章目录==偏统计理论知识==偏业务思维逻辑偏统计理论知识 1. 扑克牌54张，平均分成2份，求这2份都有2张A的概率。 M表示两个牌堆各有2个A的情况：M=4(25!25!) N表示两个牌堆完全随机的情况：N=27!27! 所以概率为：M/N = 926/53*17 2.男生点击率增加，女生点击率增加，总体为何减少? 因为男女的点击率可能有较大差异，同时低点击率群体的占比增大。如原来男性20...

MySQL与MariaDB学习笔记

onephone的专栏

10-23

1482

博客链接: http://codeshold.me/2017/10/learning_mysql_mariadb_notes.html 本文是《MySQL与MariaDB学习指南》的简要学习笔记，方便日后查询和回忆！原书容较为基础，但够用了，尤其常用函数和数据导入导出写的很不错! 适合初学者以及对mysql了解不用很深的人(仅会用)！原书不涉及任何sql的优化！

大数据ETL开发之图解Kettle工具入门到精通（附上kettle安装包）

2401_84166327的博客

05-01

657

XML可扩展标记语言eXtensible MarkupLanguage，由W3C组织发布，目前推荐遵守的是W3C组织于2000年发布的XML1.0规范。XML用来传输和存储数据，就是以一个统一的格式，组织有关系的数据，为不同平台下的应用程序服务。

最新大数据ETL开发之图解Kettle工具（入门到精通）

最新发布

2401_84160087的博客

05-04

193

在实际企业开发中，都是在本地Windows环境下进行 kettle 的 job 和 Transformation 开发的，可以在本地运行，也可以连接远程机器运行。

换行符问题

clkrst的专栏

08-06

2721

昨天帮人调试一个perl程序。程序运行在windows平台下，目的是，从参数文件中读入字符串，每个字符串都是单独一行的，读入后去掉行尾的换行符。大概的代码类似：$name = ; chomp($name); print("$name"); 现在的问题是$name读出来之后，打印出来却是空的。而且，如果读入的字符串是"fred"，发现$name不等于"fred"，这样导致下面的程序逻

Sqoop、datax——源数据换行符导致的数据不正确

大壮的博客

06-28

2547

会出现多条数据的情况，数据是有问题的。这里我们要找到办法。首先来看sqoop的办法 --hive-drop-import-delims 然后等一会儿看看是否有问题。然后找一下datax的是否有问题。 datax暂时除了改源码没有想到办法，但是别急，后续我会跟进的。来看下sqoop是否已经ok了， sqoop牛逼 ...

Shell 脚本参数传递时有 \r 换行符问题

keepandkeep的博客

03-14

3001

]替换成具体列名后，好家伙，执行时首先把job的配置文件内容打印出来，一看，dbname和tablename后都有\r。Windows体系里面，每行结尾是"”，即"\n\r”。所以当从Windows上把脚本放入Linux上后，会把"\n\r”一起带入。Unix体系里，每行结尾只有"”，即"\n"；allSyncTask.sh：脚本名称，自定义。“] write端字段数为0,把[”来由：datax 使用 [“

2. Datax将数据导入到hive中_注意事项和小技巧

weixin_48370579的博客

08-06

2850

2. Datax将数据导入到hive中 2.1 注意事项：将idea中的CRLF改成LF，因为在windows中的转行符号为 \r\n 而在linux中的换行符是 \n,如果不转的话会报错我们在配置datax 的 . json文件时需要注意从GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。中取read和write时 { ...

mysql导数据到hive后换行符冲突的解决

sghuu的博客

09-03

1735

在采用常用的数据迁移工具时，常会采用sqoop和dataX工具，在数据迁移时难免会遇到一些特殊字符的处理，比如hive里的换行符\n无法更改，而原数据源难免的会存在一些数据格式会存储\n,如mysql里的mediumtext格式就会存储有\n，这是后数据存储进hive后就不可比遍的与hive的换行符冲突，造成数据的切分错乱。解决方案：方案一：把换行符替换成空字符串，sqoop中有替换的参数，但是datax中没有。如下将下将换行符换成 ‘\n’，在sqoop的配置李添加下列参数 –hive-deli

关于MYSQL表记录字段换行符回车符处理

沙漠绿树

08-28

1390

今天遇到一个非常奇葩的问题，数据库表中明明有值却查询不不出来，而然一次从单元格中复制到sql中，发现右侧单引号换行了，我初步判断为换行符或者回车符的问题，于是在网上找了下语句，果然有效。语句如下： UPDATE tablename SET FIELD = REPLACE(REPLACE(FIELD, CHAR(10), ''), CHAR(13), ''); CHAR(...

大数据采坑集-导入数据到hive的换行符问题