背景
前几天在MySql上做分页时,看到有博文说使用 limit 0,10 方式分页会有丢数据问题,有人又说不会,于是想自己测试一下。测试时没有数据,便安装了一个MySql,建了张表,在建了个while循环批量插入10W条测试数据的时候,执行时间之长无法忍受,便查资料找批量插入优化方法,这里做个笔记。
数据结构
寻思着分页时标准列分主键列、索引列、普通列3种场景,所以,测试表需要包含这3种场景,建表语法如下:
drop table if exists`test`.`t_model`;Create table`test`.`t_model`(
`id`bigint NOT NULL AUTO_INCREMENT COMMENT '自增主键',
`uid`bigint COMMENT '业务主键',
`modelid`varchar(50) COMMENT '字符主键',
`modelname`varchar(50) COMMENT '名称',
`desc` varchar(50) COMMENT '描述',primary key(`id`),UNIQUE index`uid_unique` (`uid`),key`modelid_index` (`modelid`) USING BTREE
) ENGINE=InnoDB charset=utf8 collate=utf8_bin;
为了方便操作,插入操作使用存储过程通过while循环插入有序数据,未验证其他操作方式或循环方式的性能。
执行过程
1、使用最简单的方式直接循环单条插入1W条,语法如下:
drop procedure if existsmy_procedure;
delimiter//
create proceduremy_procedure()begin
DECLARE n int DEFAULT 1;WHILE n < 10001DOinsert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT('id20170831',n),CONCAT('name',n),'desc');set n = n + 1;END WHILE;end
//delimiter ;
插入1W条数据,执行时间大概在6m7s,按照这个速度,要插入1000W级数据,估计要跑几天。
2、于是,构思加个事务提交,是否能加快点性能呢?测试每1000条就commit一下,语法如下:
delimiter //
create procedureu_head_and_low_pro()begin
DECLARE n int DEFAULT 17541;WHILE n < 10001DOinsert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT('id20170831',n),CONCAT('name',n),'desc');set n = n + 1;if n % 1000 = 0
then
commit;end if;END WHILE;end
//delimiter ;
执行时间 6 min 16 sec,与不加commit执行差别不大,看来,这种方式做批量插入,性能是很低的。
3、使用存储过程生成批量插入语句执行批量插入插入1W条,语法如下:
drop procedure IF EXISTSu_head_and_low_pro;
delimiter $$create procedureu_head_and_low_pro()begin
DECLARE n int DEFAULT 1;set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values';set @exedata = '';WHILE n < 10001DOset @exedata = concat(@exedata,"(",n,",","'id20170831",n,"','","name",n,"','","desc'",")");if n % 1000 = 0
then
set @exesql = concat(@exesql,@exedata,";");prepare stmt from @exesql;executestmt;DEALLOCATE preparestmt;commit;set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values';set @exedata ="";else
set @exedata = concat(@exedata,',');end if;set n = n + 1;END WHILE;end;$$
delimiter ;
执行时间 3.308s。
总结
批量插入时,使用insert的values批量方式插入,执行速度大大提升。