mysql的插入优化

mysql导入数据load data infile用法

有时需要将大量数据批量写入数据库，直接使用程序语言和Sql写入往往很耗时间，其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据，这样可大大缩短数据导入时间。

LOAD DATA INFILE 语句以很高的速度从一个文本文件中读取行到一个表中。文件名必须是一个文字字符串

1、首先查询，Mysql服务是否正在运行，且local_infile功能是否开启
netstat -tulpn|grep mysql
mysql -uroot -p -e "show variables like '%infile%';"

可以在配置文件中永久开启或设置变量临时开启或是使用mysql程序使用响应选项

2、当读取位于服务器上的文本文件时，文本文件必须处于数据库目录或可被mysql用户读取或可被所有人读取

基本语法：
load data [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name
[fields
[terminated by '\t'] #字段的分隔符,默认情况下是一个tab字符（\t）
[OPTIONALLY] enclosed by ''] #字段括起字符,即字段的引用字符
[escaped by'\' ] #转义字符，默认的是反斜杠（backslash\）
]

[lines
[terminated by '\n'] #每条记录的分隔符，默认为'\n'即为换行符
[ignore number lines]
[(col_name, )]
]

 

1 如果你指定关键词low_priority，那么MySQL将会等到没有其他人读这个表的时候，才把插入数据。
可以使用如下的命令：
load data low_priority infile "/home/mark/data.sql" into table test.Orders; #test是库名，Orders是表名

2 如果指定local关键词，则表明从客户主机读文件；如果local没指定，文件必须位于服务器上（当从本机读取文件时也可以带上local关键词）

3 replace和ignore关键词控制对现有的唯一键记录的重复的处理：
· 如果你指定replace，新行将代替有相同的唯一键值的现有行。
· 如果你指定ignore，跳过有唯一键的现有行的重复行的输入。
· 如果你不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。
例如：
load data low_priority infile "/home/mark/data sql" replace into table test.Orders;

4 分隔符
（1） fields关键字指定了文件记段的分割格式，如果用到这个关键字，MySQL剖析器希望看到至少有下面的一个选项：
terminated by 字段的分隔符,默认情况下是一个tab字符（\t）
enclosed by 字段括起字符,即字段的引用字符
escaped by 转义字符，默认的是反斜杠（backslash：\ ）

例如：load data infile "/home/mark/Orders txt" replace into table test.Orders fields terminated by',' enclosed by '"';

（2）lines 关键字指定了每条记录的分隔符，默认为'\n'即为换行符

如果两个字段都指定了那fields必须在lines之前。
如果不指定fields关键字缺省值与如果你这样写的相同： fields terminated by'\t' enclosed by'"' escaped by'\'
如果你不指定一个lines子句，缺省值与你这样写的相同： lines terminated by'\n'

例如：
load data infile "/jiaoben/load.txt" replace into table test.Orders fields terminated by ',' lines terminated by '/n';

5 load data infile 可以按指定的列把文件导入到数据库中，当我们要把数据的一部分内容导入的时候，，需要加入一些栏目（列/字段/field）到MySQL数据库中，以适应一些额外的需要。
比方说，我们要从Access数据库升级到MySQL数据库的时候

下面的例子显示了如何向表中指定的字段(field)中导入数据：
load data infile "/home/Order txt" into table test.Orders(Order_Number, Order_Date, Customer_ID);

6 当在服务器主机上寻找文件时，服务器使用下列规则：
（1）如果给出一个绝对路径名，服务器使用该路径名。
（2）如果给出一个有一个或多个前置部件的相对路径名，服务器相对服务器的数据目录搜索文件。
（3）如果给出一个没有前置部件的一个文件名，服务器在当前数据库的数据库目录寻找文件。
例如： /myfile txt”给出的文件是从服务器的数据目录读取，而作为“myfile txt”给出的一个文件是从当前数据库的数据库目录下读取。
注意：字段中的空值用\N表示

以上原文出处:https://www.cnblogs.com/wyzhou/articles/9278996.html

本人试验：

1 表结构如下：

CREATE TABLE `zTest` (
  `id` INT(10) NOT NULL AUTO_INCREMENT,
  `ip` VARCHAR(100) DEFAULT '' COMMENT '拦截用户的ip地址',
  `uri` VARCHAR(255) DEFAULT '' COMMENT '拦截用户的访问地址',
  `queryMethod` VARCHAR(10) DEFAULT '' COMMENT '拦截请求方式',
  `userAgent` TINYINT(3) DEFAULT '0' COMMENT '拦截类型（0,未知;1,android;2,IOS;3,所有）',
  `description` TEXT COMMENT '描述',
  PRIMARY KEY (`id`)
) ENGINE=INNODB DEFAULT CHARSET=utf8 COMMENT='可以删除的表'

2 导入sql语句如下：

LOAD DATA LOCAL INFILE "d:/test.sql" IGNORE INTO TABLE zTest
FIELDS TERMINATED BY ',' ENCLOSED BY '"' 
LINES TERMINATED BY '\r\n' (ip,uri,queryMethod,userAgent,description)

3 test.sql文档示例如下：

"333.222.111.000","/userinfo/smsInfo/sendSmsVc.do","POST","3","如果你指定关键词low_priority，那么MySQL将会等到没有其他人读这个表的时候，才把插入数据。可以使用如下的命令：load data low_priority infile "/home/mark/data.sql" into table test.Orders; #test是库名，Orders是表名2 如果指定local关键词，则表明从客户主机读文件；如果local没指定，文件必须位于服务器上（当从本机读取文件时也可以带上local关键词）3 replace和ignore关键词控制对现有的唯一键记录的重复的处理：· 如果你指定replace，新行将代替有相同的唯一键值的现有行。· 如果你指定ignore，跳过有唯一键的现有行的重复行的输入。· 如果你不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。例如：load data low_priority infile "/home/mark/data sql" replace into table test.Orders;"
......此处省略999行......

4 对比insert sql语句如下

INSERT INTO zTest(ip,uri,queryMethod,userAgent,description)
VALUES("47.56.125.194","/userinfo/smsInfo/sendSmsVc.do","POST","3","如果你指定关键词low_priority，那么MySQL将会等到没有其他人读这个表的时候，才把插入数据。可以使用如下的命令：load data low_priority infile \"/home/mark/data.sql\" into table test.Orders; #test是库名，Orders是表名2 如果指定local关键词，则表明从客户主机读文件；如果local没指定，文件必须位于服务器上（当从本机读取文件时也可以带上local关键词）3 replace和ignore关键词控制对现有的唯一键记录的重复的处理：· 如果你指定replace，新行将代替有相同的唯一键值的现有行。· 如果你指定ignore，跳过有唯一键的现有行的重复行的输入。· 如果你不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。例如：load data low_priority infile \"/home/mark/data sql\" replace into table test.Orders;")
,("47.56.125.194","/userinfo/smsInfo/sendSmsVc.do","POST","3","如果你指定关键词low_priority，那么MySQL将会等到没有其他人读这个表的时候，才把插入数据。可以使用如下的命令：load data low_priority infile \"/home/mark/data.sql\" into table test.Orders; #test是库名，Orders是表名2 如果指定local关键词，则表明从客户主机读文件；如果local没指定，文件必须位于服务器上（当从本机读取文件时也可以带上local关键词）3 replace和ignore关键词控制对现有的唯一键记录的重复的处理：· 如果你指定replace，新行将代替有相同的唯一键值的现有行。· 如果你指定ignore，跳过有唯一键的现有行的重复行的输入。· 如果你不指定任何一个选项，当找到重复键时，出现一个错误，并且文本文件的余下部分被忽略。例如：load data low_priority infile \"/home/mark/data sql\" replace into table test.Orders;")
,......此处再次省略999行......

5 结论，单独执行insert语句在没有开事务的情况下大概需要5000毫秒左右才能插入完成，而使用LOAD DATA INFILE导入只需要79毫秒，所以，如果有大批量的插入操作，建议使用LOAD DATA INFILE导入