Mysql载入大量数据(load data infile)的优化过程

最新推荐文章于 2024-08-02 17:49:19 发布

speak_is_cheap

最新推荐文章于 2024-08-02 17:49:19 发布

阅读量1.6w

点赞数 2

文章标签： Mysql 大数据导入

本文链接：https://blog.csdn.net/speak_is_cheap/article/details/51050410

版权

公司开发的某个产品需要从文本格式的文件导入大量数据, 其中某一个表特别大, 数据文件有接近30G, 大概有6千万行数据. MySQL提供了很强大的工具, load data infile, 具体格式不去介绍了, 它的主要优势在于批量插入数据.

服务器是20核 cpu.

MySQL 部分配置大概如下:

innodb_buffer_pool_size = 20000M

innodb_file_per_table = 1
innodb_flush_method = O_DIRECT

innodb_flush_log_at_trx_commit = 0

直接开始load数据, 结果悲剧开始了, 命令执行了1个小时,没结果, 2个小时, 还是没结果.

开另外一个终端连到数据库, 查询当前表的行数, 结果是0, 说明 load data infile是一个transaction, 在当前的隔离级别下, 没load完是看不到数据的.

用TOP看了一下资源使用情况, MySQL 只使用了接近100%的CPU(最高2000%).

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

speak_is_cheap

关注关注

2
点赞
踩
30

收藏

觉得还不错? 一键收藏
3
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

mysql语句-load data infile

jesseyoung

11-20

8647

1 介绍 LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中。它是SELECT ... INTO OUTFILE的一个补充，SELECT ... INTO OUTFILE是将表中的数据写到一个文件，LOAD DATA INFILE则是将文件内容导入表。二者都使用FIELDS及LINES语句，两个语句是可选的，同时出现的话FIELDS要在LINES前面。

mysql 的load data infile

12-15

LOAD DATA INFILE语句从一个文本文件中以很高的速度读入一个表中。如果指定LOCAL关键词，从客户主机读文件。如果LOCAL没指定，文件必须位于服务器上。(LOCAL在MySQL3.22.6或以后版本中可用。）为了安全原因，当读取位于服务器上的文本文件时，文件必须处于数据库目录或可被所有人读取。另外，为了对服务器上文件使用LOAD DATA INFILE，在服务器主机上你必须有file的权限。头一回用load data infile，以为只是把插入语句写到一个文件里，然后用load data infile把文件传入数据库就OK了，于是生成了一个内容类似同n句 insert in

3 条评论您还未登录，请先登录后发表或查看评论

MySQL 将文件导入数据库（load data Statement）

最新发布

Vincent的博客

08-02

1760

MySQL的load data infile语句可以从文本文件中读取数据，并且加载到数据库的表中。和select…into outfile只能导文件到本地数据库服务器不同，load data语句即可以从数据库服务器本地读取文件，也可以通过远程客户端（使用local关键字）读取，即可以远程将文件加载到数据库中。MySQL还提供了一个mysqlimport命令行工具也可以将数据从文件加载到数据库中，其原理也是通过load data infile语句完成的。

我们来看看load data infile 需要注意的一些地方

weixin_34306593的博客

06-30

224

我的文章一般浅显易懂，不会搞那么深入让大家很难理解。（其实我水平也不咋样)LOAD DATA INFILE 一直被认为是MySQL很强大的一个数据导入工具，因为他速度非常的快。不过有几个问题一定要注意1、编码。2、灵活导入导出。我来举两个例子说明一下。一、关于编码我们的示例文本文件："我爱你","20","相貌平常，经常耍流氓！哈哈""李奎","21","相貌平常，经常耍流氓！哈哈"&qu

MySQL LOAD DATA INFILE

莫名的拉风的博客

04-05

487

MySQL LOAD DATA INFILE LOAD DATA INFILE语句是MySQL中用来批量、快速导入数据的一种方式，和SELECT ... INTO OUTFILE 作用是相反的一、完整语法 LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name' [REPLACE | IGNORE] ...

LOAD DATA INFILE 句法

大鹏

12-23

4186

如何提高mysql load data infile的速度测试数据2.5G，共有数据9427567条。用的mysql的large服务器的配置。 load一次需要大概10分钟左右。建的表用的是MYISAM，调整了几个session的参数值SET SESSION BULK_INSERT_BUFFER_SIZE=256217728; SET SESSION MYISAM_SORT_BUFFER_SI

mysql load导出文件_MySQL数据导入导出之Load data file

weixin_34549315的博客

01-19

1165

MySQL的数据导入和导出纯数据的方式，一般采用的是load data file 、mysqlimport 、select into outfile 、>/>>重定向的方式，这里主要介绍load data file和select into outfile 的方式。一、MySQL导入和导出数据：1、load data file简介：The LOAD DATA INFILE st...

Mysql导入数据load data infile

三少GG

07-28

3497

mysql有一个高效导入方法，那就是load data infile 下面来看案例说明基本语法： load data [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminated by't'] [OPTIONALLY] enc

mysql load data 指定字段_MySQL LOAD DATA命令

weixin_39600510的博客

01-19

1607

用LOAD DATA INFILE命令导入LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt'[REPLACE | IGNORE]INTO TABLE tbl_name[FIELDS[TERMINATED BY 'string'][[OPTIONALLY] ENCLOSED BY 'char'][ESCAPED B...

【MySQL】load data语句详解（一）

05-22

1462

作者罗小波沃趣科技高级MySQL数据库工程师 load data语句详解 1、语法解析 1.1. 必选子句或关键字 1.2. 可选子句或关键字 1.2.1. LOW_PR...

Mysql优化使用LOAD DATA INFILE

等一轮明月的博客

04-06

682

如今mysql普遍的插入方式有如下两种： 1、循环单条插入 <insert id="insert" parameterType="com.chargeProject.consumer.entity.Test"> insert into test (id, nums, name) values (#{id,jdbcType=INTEGER}, #{nums,jdbcType=INTEG...

MySQL 优化 LOAD 速度

ggz 的博客

06-03

1628

文章目录MySQL 优化 LOAD 速度一、优化 MyISAM 表 LOAD 速度二、优化 InnoDB 表 LOAD 速度三、总结 MySQL 优化 LOAD 速度一、优化 MyISAM 表 LOAD 速度 DISABLE KEYS 和 ENABLE KEYS 用来打开或者关闭 MyISAM 表非唯一索引的更新。在导入大量的数据到一个非空的 MyISAM 表时，通过这两个命令可以提高导入的效率。对于导入大量数据到一个空的 MyISAM 表，默认就是先导入数据后才创建索引的，所以不用进行设置。 1

3.MySQL快速导入数据LOAD DATA INFILE（带详细优化参数）

ciqingloveless的博客

10-29

6529

介绍 LOAD DATA INFILE语句以非常高的速度将文本文件中的行读入表中。 LOAD DATA INFILE是SELECT … INTO OUTFILE的补充。要将表中的数据写入文件，请使用SELECT … INTO OUTFILE。要将文件读回表中，请使用LOAD DATA INFILE。基本语法 LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCA...

Mysql Load Data Infile

pandoraliu的专栏

06-05

350

LOAD DATA INFILE 'D:/Temp/fileToImport.csv' INTO TABLE db.mytable FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES (@abcde, @aaa, @RNs, @country, @status)...

关于MySQL的load data infile

fox1987的专栏

01-04

4062

最近经常使用mysql的load data infile导入数据。查阅了相关资料记录下：以下部分转载自：http://shanchao7932297.blog.163.com/blog/static/1363624201141135548221/ 1）在客户端也可以向远程MySQL服务器执行 ‘load data‘ 命令，比如，客户端IP： 192.168

每天进步一点点——load data infile的相关优化

不再疯要傻

08-19

1699

对MyISAM引擎通过DISABLE KEYS和ENABLE KEYS用来打开或者关闭唯一索引的更新，在导入大量数据到一个非空的MyISAM表时，通过设置这两条命令可以提高导入效率。但是导入一个空的MyISAM表，就不需要此设置： ALTER TABLE 表名 DISABLE KEYS; loading the data ALTER TABLE 表名 ENABLE KE

MySQL 执行 load data infile

一名数据库爱好者的专栏

03-28

1158

os: centos 7.4.1708 db: mysql 8.0.19 版本 [root@node2 ~]# cat /etc/centos-release CentOS Linux release 7.4.1708 (Core) [root@node2 ~]# mysql Welcome to the MySQL monitor. Commands end with ; or \g. You...

MySQL数据导入导出方法与工具

Tong's blog

01-17

1484

翻译声明：本文内容来自Sams Teach Yourself MySQL in 21 Days一书的部分内容，by Mark Maslakowski 英文原文版权属原作者所有，中文的部分翻译有略有增删;原书讲的过于清楚的地方有删，讲的不清楚的地方有增；如果有翻译的不妥或者不正确的地方，请指正。翻译者：David Euler,SCU. de_euler-david@www.yahoo.com.