如何优化数据导入？

前言

有些时候我们可能会遇到批量数据导入的场景，所以有些时候是很耗时的，这篇文章就介绍一些加快导入的方法

一次插入多行的值

插入行所需的时间由以下因素决定（参考MySQL 5.7参考手册：8.2.4.1优化INSERT语句）

连接：30%
向服务器发送查询：20%
解析查询：20%
插入行：10% * 行的大小
插入索引：10% * 索引数
结束：10%

可发现大部分时间耗费在客户端与服务端通信的时间，因此可以使用 insert 包含多个值来减少客户端和服务器之间的通信。我们通过实验来验证下一次插入多行与一次插入一行的效率对比。

准备测试表及数据
由于本次实验操作包含 drop 等危险操作，因此建议创建普通用户进行实验，并权限最小化，以防误操作。

grant select,insert,create,drop,index,alter on muke.* to 'test_user3'@'127.0.0.1' identified by 'userBcdQ19Ic';

这里对上面命令解释一下：
grant 这里包含了创建用户及赋权操作
select,insert,create,drop 赋予查询、写入、建表及删表的权限
on muke.* 只对muke这个database有这些权限
to ‘test_user3’@‘127.0.0.1’ 用户名为test_user3，host为127.0.0.1，即test_user3只能在本机使用，如果MySQL服务端跟客户端不在同一台机器上，则127.0.0.1替换成客户端ip地址
identified by ‘userBcdQ19Ic’ 用户密码为userBcdQ19Ic

创建测试表及写入数据，语句如下

use muke;                 /* 使用muke这个database */

drop table if exists t1;  /* 如果表t1存在则删除表t1 */

CREATE TABLE `t1` (	      /* 创建表t1 */
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `a` varchar(20) DEFAULT NULL,
  `b` int(20) DEFAULT NULL,
  `c` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB CHARSET=utf8mb4 ;

drop procedure if exists insert_t1; /* 如果存在存储过程insert_t1，则删除 */
delimiter