MySQL大数据操作的优化

最近翻看以前的工作记录，发现一个算是高频的问题。

提高MySQL写入性能：采用批量操作

公司有些程序，在MySQL写入几十万或上百万条的数据，测试发现写入太慢了。查看代码， 发现程序写成用excute()方法一条条来写的。

反馈给开发，推荐他改为批量操作：用excutemany()一次写入100条数据。结果很好地提高的程序的写入速度。

主要原因如下：
一条条写，频繁调用IO，造成IO资源紧张，也容易造成数据写入失败。
批量处理，执行效率高的主要原因是: (1)通过合并SQL语句，同时也能减少SQL语句解析的次数，减少了数据库连接的I/O开销，一般会把多条数据插入放在一条SQL语句中一次执行; (2)合并后日志量（MySQL的binlog和innodb的事务让日志）减少了，降低日志刷盘的数据量和频率，从而提高效率。