关于MySQL的load data infile

最新推荐文章于 2024-08-02 17:49:19 发布
最新推荐文章于 2024-08-02 17:49:19 发布
阅读量4k 收藏 2
点赞数
分类专栏： Database- mysql 文章标签： mysql load data in file
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovemdx/article/details/17847545
版权
本文探讨了MySQL的LOAD DATA INFILE命令为何比INSERT快，主要原因是批量处理和减少索引更新。同时，通过测试展示了LOAD DATA INFILE在处理重复数据时的行为，以及使用IGNORE选项的影响。文章还提到了优化LOAD DATA的方式，如ALTER TABLE ... DISABLE KEYS和INSERT DELAYED。
摘要由CSDN通过智能技术生成

最近经常使用mysql的load data infile导入数据。查阅了相关资料记录下：

为什么load data infile 快

关于为什么Load data 会更快，查阅资料如下：
参考自：http://soft.chinabyte.com/database/386/12532886.shtml

较短的SQL 语句比较长的SQL 语句要快，因为它们涉及服务器方的分析较少，而且还因为将它们通过网络从客户机发送到服务器更快。这些因素中有一些似乎微不足道(特别是最后一个因素)，但如果要装载大量的数据，即使是很小的因素也会产生很大的不同结果。我们可以利用上述的一般原理推导出几个关于如何最快地装载数据的实际结论：

　　LOAD DATA(包括其所有形式)比INSERT 效率高，因为其成批装载行。索引刷新较少，并且服务器只需分析和解释一条语句而不是几条语句。

　　LOAD DATA 比LOAD DATA LOCAL 效率更高。利用LOAD DATA，文件必须定位在服务器上，而且必须具有FILE 权限，但服务器可从磁盘直接读取文件。利用LOAD DATA LOCAL，客户机读取文件并将其通过网络发送给服务器，这样做很慢。

另外就是insert 的话，每运行一句，就更新一次索引,load 的话，全部执行完了再更新一次索引 （参考自http://www.debugease.com/mysql/281384.html）

究其根源主要是MySQL内部对于load 和 insert的处理机制不同.
Load的处理机制是:在执行load之前,会关掉索引,当load全部执行完成后,再重新创建索引.
Insert的处理机制是:每插入一条则更新一次数据库,更新一次索引.
补充:另外,load与insert的不同还体现在load省去了sql语句解析,sql引擎处理,而是直接生成文件数据块,所以会比Insert快很多.

最低0.47元/天 解锁文章
fox1987
关注
专栏目录
对MySQL load data infile的一点想法
I'm lovin' it
09-05 6643
今天无意和同事讨论MySQL load data infile的问题，这个问题是由开发那边引起的：他们竟然对一个4千万行的数据直接load data infile插入测试库，结果可想而知，出问题了。跑了一整晚都没跑完，基本上是卡死了【注释1】。原因可能是原表索引太多，导致速度巨慢。于是做了一个实验验证load data infile是否为一个单独的事务。         步骤是这样的：1，开启b
mysql语句-load data infile
jesseyoung
11-20 8647
1 介绍     LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中。它是SELECT ... INTO OUTFILE的一个补充，SELECT ... INTO OUTFILE是将表中的数据写到一个文件，LOAD DATA INFILE则是将文件内容导入表。二者都使用FIELDS及LINES语句，两个语句是可选的，同时出现的话FIELDS要在LINES前面。
MySQL 将文件导入数据库（load data Statement）
最新发布
Vincent的博客
08-02 1762
MySQL的load data infile语句可以从文本文件中读取数据，并且加载到数据库的表中。和select…into outfile只能导文件到本地数据库服务器不同，load data语句即可以从数据库服务器本地读取文件，也可以通过远程客户端（使用local关键字）读取，即可以远程将文件加载到数据库中。MySQL还提供了一个mysqlimport命令行工具也可以将数据从文件加载到数据库中，其原理也是通过load data infile语句完成的。
MySQL LOAD DATA INFILE
莫名的拉风的博客
04-05 487
MySQL LOAD DATA INFILE LOAD DATA INFILE语句是MySQL中用来批量、快速导入数据的一种方式，和SELECT ... INTO OUTFILE 作用是相反的   一、完整语法 LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name' [REPLACE | IGNORE] ...
mysql 的load data infile
12-15
LOAD DATA INFILE语句从一个文本文件中以很高的速度读入一个表中。如果指定LOCAL关键词，从客户主机读文件。如果LOCAL没指定，文件必须位于服务器上。(LOCAL在MySQL3.22.6或以后版本中可用。） 为了安全原因，当读取位于服务器上的文本文件时，文件必须处于数据库目录或可被所有人读取。另外，为了对服务器上文件使用LOAD DATA INFILE，在服务器主机上你必须有file的权限。 头一回用load data infile，以为只是把插入语句写到一个文件里，然后用load data infile把文件传入数据库就OK了，于是生成了一个内容类似同n句 insert in
Mysql Load Data Infile
pandoraliu的专栏
06-05 350
LOAD DATA INFILE 'D:/Temp/fileToImport.csv' INTO TABLE db.mytable FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES (@abcde, @aaa, @RNs, @country, @status)...
Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL
08-27
"Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL" Java大批量导入MySQL是一种高效的数据导入方式，使用MYSQL的LOAD DATA LOCAL INFILE语句可以快速地从一个文本文件中读取行，并装入一个表中。...
mysql Load Data InFile 的用法
09-11
`LOAD DATA INFILE` 是 MySQL 数据库中一种高效的数据导入工具，它允许用户从外部文本文件快速批量导入数据到数据库的表中。相比于使用 `INSERT INTO` 语句逐条插入，`LOAD DATA INFILE` 在处理大量数据时速度显著更...
mysql 远程load data_关于MySQL的load data infile
weixin_32297123的博客
01-18 672
较短的SQL 语句比较长的SQL 语句要快，因为它们涉及服务器方的分析较少，而且还因为将它们通过网络从客户机发送到服务器更快。这些因素中有一些似乎微不足道(特别是最后一个因素)，但如果要装载大量的数据，即使是很小的因素也会产生很大的不同结果。我们可以利用上述的一般原理推导出几个关于如何最快地装载数据的实际结论：LOAD DATA(包括其所有形式)比INSERT 效率高，因为其成批装载行。索引刷新较...
MySQL 执行 load data infile
一名数据库爱好者的专栏
03-28 1158
os: centos 7.4.1708 db: mysql 8.0.19 版本 [root@node2 ~]# cat /etc/centos-release CentOS Linux release 7.4.1708 (Core) [root@node2 ~]# mysql Welcome to the MySQL monitor. Commands end with ; or \g. You...
MySQL数据导入导出方法与工具
Tong's blog
01-17 1484
翻译声明： 本文内容来自Sams Teach Yourself MySQL in 21 Days一书的部分内容，by Mark Maslakowski 英文原文版权属原作者所有，中文的部分翻译有略有增删;原书讲的过于清楚的地方有删，讲的不清楚的地方有增；如果有翻译的不妥或者不正确的地方，请指正。 翻译者：David Euler,SCU. de_euler-david@www.yahoo.com.
MySQL load data infile总结
yf9595的博客
07-18 7519
1、基本用法（导入文件test.txt到table1表中，txt文件中的行分隔符为\r\n，默认tab键为字段分隔符，txt文件中的每个字段按顺序对应column1、column2，。。。导入表中） load data infile "/test.txt" into table1 lines terminated by '\r\n' (colunm1,colunm2,...) 2、如果字段分隔...
Mysql优化使用LOAD DATA INFILE
等一轮明月的博客
04-06 682
如今mysql普遍的插入方式有如下两种： 1、循环单条插入 <insert id="insert" parameterType="com.chargeProject.consumer.entity.Test"> insert into test (id, nums, name) values (#{id,jdbcType=INTEGER}, #{nums,jdbcType=INTEG...
mysql loadinfile_MySQL LOAD DATA INFILE语法
weixin_29011239的博客
02-17 536
load data infile '/tmp/temp.txt' into table table_namefields terminated by ',' lines terminated by '\n' (col1,col2,...)将temp.txt中的数据高速导入到table_name中，并且规定插入的列(col1,col2,...)temp.txt中的文件格式为：1,datacenter...
Mysql load data infile 命令格式
weixin_30681615的博客
09-02 275
【1】Linux系统环境下 LOAD DATA INFILE /usr/LOCAL/lib/ubcsrvd/datacsv/201909_source.csv INTO TABLE np_cdr_201909 FIELDS TERMINATED BY ',' IGNORE 1 LINES (product_id, calling_id, start_time, duratio...
MySQL LOAD DATA INFILE 导入 CSV 格式数据
热门推荐
Erik_ly的博客
08-22 1万+
主要介绍将 Neo4j 数据库中数据全部导入到 MySQL 数据库中，这里主要介绍使用 LOAD DATA INFILE 方式将 CSV 格式的数据文件导入到 MySQL 中.
mysql中的load data infile用法
心静思远
07-25 1895
mysql中的load data infile可以快速的将文档中的数据插入数据表中，非常方便 语法如下： LOAD DATA [LOW_PRIORITY] [LOCAL] INFILE 'file_name.txt' [REPLACE | IGNORE] INTO TABLE tbl_name [FIELDS [TERMINATED BY '\t']
mysql的indata文件_mysql的loaddatainfile的用法_MySQL
weixin_42297705的博客
01-28 300
LOAD DATA INFILE语句从一个文本文件中以很高的速度读入一个表中。1、基本语法LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt'[REPLACE | IGNORE]INTO TABLE tbl_name[FIELDS[TERMINATED BY 'string'][[OPTIONALLY] ENCLO...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值