【踩坑】不同OS，数据库Load data产生的数据问题

最新推荐文章于 2024-08-09 21:02:30 发布
最新推荐文章于 2024-08-09 21:02:30 发布
阅读量111 收藏
点赞数
分类专栏： 大数据 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37187606/article/details/134242834
版权
本文讨论了在使用MySQL的LOADDATAINFILE功能批量导入数据时，由于不同操作系统文件换行符差异可能导致的问题。作者提出了解决方案，即在程序中动态获取csv文件的行结束符并将其设置为LOADDATA语句中的LINESEPARATOR。
摘要由CSDN通过智能技术生成

一、背景

批量导入文件数据到数据库

二、坑

在我们使用MySQL等支持批量导入数据语法（LOAD DATA [LOCAL] INFILE...）的数据库中批量导入数据时，不同操作系统文件的换行符是不同的，Windows是\r\n，而Unix是\n，这就要求导入语法中的 LINE SEPARATOR [换行符] 是动态的。

如果不是动态的，比如在windows系统，csv文件换行符是\r\n，我们语句中写的是\n，就会导致数据库中一行中还存在\r；比如在unix系统，csv文件换行符是\n，我们语句中写的是\r\n，就会导致插入失败。

三、解决方案

程序内打开csv文件，获取行结束符然后当作变量塞入到load语句中

罗啰萝在努力
关注
专栏目录
\r 与\n
Sigmoid
04-01 2万+
一、含义不同： \r是回车符，\n是换行符。在C语言中，除了表示除法和注释符号，换行和转义字符都是使用反斜杠的，所以这里的斜杠应该指的是反斜杠。\r\n是回车加换行，\n是换行。要注意的是\r是回车，操作在当前行，而\n则是跳到下一行。 二、用法不同： Unix 系统里，每行结尾只有“<换行>”，即“\n”；Windows系统里面，每行结尾是“<回车><换行>”，即“ \r\n”；Mac系统里，每行结尾是“<回车>”。 一个直接后果是，Unix/Mac系统下的
【经验】 - \r，\n，\r\n的区别
包磊磊的博客
10-10 357
回车、换行的区别 他们间的区别其实是个回车换行的问题 先来段历史 回车”（Carriage Return）和“换行”（Line Feed）这两个概念的来历和区别。 符号 ASCII码 意义 \n 10 换行 \r 13 回车CR 在计算机还没有出现之前，有一种叫做电传打字机（Teletype Model 33，Linux/Unix下的tty概念也来自于此）的玩意，每秒...
mysql load data tab键_mysql中Load Data file记录换行的解决方法
weixin_39822728的博客
01-27 302
有关mysql中Load Data记录换行的解决方法，有需要的朋友可以参考下。问题描述：表persons有两个字段: id和name文本文档persons.txt中内容(其中每行字段之间用tab分割)：1 Bush2 Carter3 Bush在mysql命令行下使用 load data local infile “persons.txt” into table persons 导入数据到perso...
Golang并发读取文件数据并写入数据库
Monkey_D_Newdun的博客
01-24 5135
记录一下用Golang做并发，创建多个goroutine去读取指定目录下的多个JSON格式的数据文件，并将其每条数据格式化后写入到Oracle数据库
时序数据库-TDengine涛思(taos)使用以及踩坑
MinggeQingchun的博客
05-03 4万+
时序数据库 时序数据库(Time Series Database，TSDB)全称为时间序列数据库。时间序列数据库指主要用于处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据 1、时序数据的主要数据属性 （1）每个数据点都包含用于索引、聚合和采样的时间戳。该数据也可以是多维的和相关的； （2）写多读少，需要支持秒级和毫秒级甚至纳秒级高频写入；查询通常是多维聚合查询，对查询的延迟要求比较高 （3）数据的汇总视图（例如，下采样或聚合视图、趋势线）可能比单个数据.
OpenHarmony 关系映射数据库—dataORM
最新发布
wuhuajian78的博客
08-09 655
dataORM 是一个轻量级 ORM（对象关系映射）库，用于简化本地数据库的操作。提供了高效的数据库访问性能和低内存消耗。dataORM 支持多线程操作、链式调用、备份、升级、缓存等特性等功能。其设计理念是轻量、快速且易于使用，帮助开发者快速构建高性能的应用程序。
【Java面试题汇总】MySQL数据库篇（2023版）
vincewm的博客
05-03 5688
聚簇索引和非聚簇索引、索引的底层数据结构、B树和B+树、MySQL为什么不用红黑树而用B+树、数据库引擎有哪些、InnoDB的MVCC、乐观锁和悲观锁、ACID、事务隔离级别、MySQL主从同步、MySQL调优
【Android Studio】正确连接MySQL数据库以及常见问题汇总（亲测可用）
黄团团的个人博客
07-04 1930
Could not create connection to database server，Access denied for user 'root'@'HTT' (using password: YES)，Public Key Retrieval is not allowed，Android Studio正确连接MySQL数据库以及常见问题汇总
CentOS7下安装MySQL5.7踩坑指南
击水三千里的专栏
11-06 2839
1.下载安装包 su root wgethttp://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.20-linux-glibc2.12-x86_64.tar.gz 2.解压安装包 tar zxvf mysql-5.7.20-linux-glibc2.12-x86_64.tar.gz 3.进入文件夹 mv mysql-5.7.20-linux-glibc2.12-x86_64 mysql cd mysql 4....
wav2vec2踩坑之旅5：如何制作一个transformers的数据集
starinline的专栏
03-30 2769
wav2vec2踩坑之旅5：如何制作一个transformers的数据集 摘要 本文记录了制作transformers数据集的主要过程，以thch30中文ASR数据集为例，模仿librispeech的格式，可用于wav2vec2模型的finetune过程。本文主要解决2个核心问题： 如何在transformers中自定义数据集？ 如何使用本地数据集？ 本文按照官方数据集添加向导踩坑，愿对诸君有所帮助。 文章目录wav2vec2踩坑之旅5：如何制作一个transformers的数据集摘要1.制作SLR18
2024年Unity 面试题 |五萬字 二佰道| Unity面试题大全，面试题总结【全网最全，收藏一篇足够面试】
热门推荐
努力前行，总会成为自己心中的那道光
02-23 12万+
正所谓 金三银四 ，又到了找工作的大好时机了，不知道大家有没有意向找一份更好的工作呢~ 之前写了很多Unity的学习和实例文章，但是面试题部分还没有一个系统的整理。 那本篇文章就来整理一下Unity中一些常见的面试题，说不准就会面试的时候就会遇到！ 本篇文章会将Unity所有方面的面试资料都融会贯通，绝对是2022年Unity面试领域最实用的文章啦！
Nuscenes（Nuimages）转换Yolo格式转换踩坑大全
weixin_46848552的博客
04-11 1957
Yolo格式是适用于Yolo模型训练的数据集格式，要想使nuimages数据集在Yolo模型中进行训练，必须要把数据转换成Yolo格式，此文章是nuscenes中nuimages数据集的踩坑转换。这里使用nuscenes数据集地址：https://www.nuscenes.org/
尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录
prague6695的博客
08-11 2618
尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录
大数据云计算学习路线分析(纯属个人看法和观点)
qq_37187606的博客
06-12 1万+
1.Linux基础和Hadoop分布式架构计算处理模块学完此阶段可掌握的核心能力：熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；学完此阶段可解决的现实问题：搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；学完此阶段可拥有的市场价值：具备初级程序员必要具备的Linux服务器运维能力。2...
大数据学习的心路历程（持续更新）
qq_37187606的博客
06-08 1108
前言在学习大数据之前，先要了解他解决了什么问题，能给我们带来什么价值。一方面，以前IT行业发展没有那么快，系统的应用也不完善，数据库足够支撑业务系统。但是随着行业的发展，系统运行的时间越来越长，搜集到的数据也越来越多，传统的数据库已经不能支撑全量数据的存储工作；另一方面，数据越来越多，单机的计算已经成为瓶颈。因此，基于分布式的大数据系统崭露头角。那么大数据系统里面都有什么东西呢？可以参考下面的图在...
Spark3.0调优学习
qq_37187606的博客
09-09 864
1、现象绝大多数task运行速度很快，但是就是有那么几个task任务运行极其缓慢，慢慢的可能就会报内存溢出异常。2、原因数据倾斜一般发生在shuffle类的算子，比如distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup等，涉及到数据重分区，如果其中某一个key 数量特别大，就发生了数据倾斜。
Hadoop-3.3.5遇到的坑
qq_37187606的博客
04-20 392
最终确定是由于公司里面服务器存储是基于NFS共享存储，所以相当于两台机器往同一个目录下写入pid。观察两台机器pid路径下的内容，发现仅有master主机上datanode的pid。所以使用停止脚本关闭时，会导致读取失败，从而导致两个datanode都无法关闭。可以看到时根据$HADOOP_CONF_DIR中的配置来启动进程的。可以看到，与启动脚本类似，也是通过配置文件中的参数来关闭进程。当我们启动后，hadoop底层将pid写入到配置的路径。其中，与关闭进程最相关的配置文件中的参数就是。
MySQL批量导入数据：LOAD DATA INFILE详解
"MySQL的LOAD DATA INFILE语句是一种高效的方法，用于批量导入数据到数据库表中。这个语句可以从一个文本文件快速地加载数据，极大地简化了大量数据的录入过程。" 在MySQL中，使用LOAD DATA INFILE语句可以避免逐条...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

罗啰萝在努力

如果这篇文章对你有帮助，望支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值