mysql插入大量数据减少IO开销

前言

性能测试时需要模拟生产环境的数据量，在造百万、千万级数据的时候发现直接使用插入sql效率极低，推荐第四种快速的方式

插入mysql数据效率对比

1.单行插入

插入速度很普通，不推荐

insert into tableName (colunm1,colunm2,...) value(value1,value2,...);

2.多行插入

提升不多，多行插入可以减少插入数据时的IO和网络开销，从而加快插入数据的速度。此方法适用于插入少量数据的情况，当插入数据量变大时，数据库连接可能会被打满

insert into tableName(colunm1,colunm2,..) values(value1,value2...),(value1,value2...);

3.批量插入

这个操作将所有插入放在一个事务中，并将其视为一个操作。此方法使用一次SQL查询来插入大量数据，因此减少了IO和网络开销

INSERT INTO table_name (column1, column2, column3)
VALUES
(value1, value2, value3),
(value4, value5, value6),
......
ON DUPLICATE KEY UPDATE column1=VALUES(column1), column2=VALUES(column2), column3=VALUES(column3);

4.使用LOAD DATA INFILE语句

INSERT INTO table_name (column1, column2, column3)
VALUES
(value1, value2, value3),
(value4, value5, value6),
......
ON DUPLICATE KEY UPDATE column1=VALUES(column1), column2=VALUES(column2), column3=VALUES(column3);

使用LOAD DATA INFILE语句可以将大量的数据快速地导入MySQL中。此方法适用于数据已存储在文件中的情况，您只需指定文件名和目标表即可导入数据。而且，此方法支持多线程操作，可在不阻塞数据库的同时并行地导入数据
这种方式非常香，500W数据1分钟插入完成，推荐
file_name: 本地存储数据的文件
这个文件的数据(xx.txt)需要先准备好

注意：txt的值要跟命令中的列名对应上，如果你是全字段的值插入，那么('列名1','列名2','列名3','列名4')可以省略不写