最近翻看以前的工作记录,发现一个算是高频的问题。
提高MySQL写入性能:采用批量操作
公司有些程序,在MySQL写入几十万或上百万条的数据,测试发现写入太慢了。查看代码, 发现程序写成用excute()方法一条条来写的。
反馈给开发,推荐他改为批量操作:用excutemany()一次写入100条数据。结果很好地提高的程序的写入速度。
主要原因如下:
一条条写,频繁调用IO,造成IO资源紧张,也容易造成数据写入失败。
批量处理,执行效率高的主要原因是: (1)通过合并SQL语句,同时也能减少SQL语句解析的次数,减少了数据库连接的I/O开销,一般会把多条数据插入放在一条SQL语句中一次执行; (2)合并后日志量(MySQL的binlog和innodb的事务让日志)减少了,降低日志刷盘的数据量和频率,从而提高效率。