测试插入一万条数据的发现除了拼接SQL的方式需要用5秒多的时间外,Mybatis Batch和原生JDBC Batch都需要50多秒,怎么想都觉得不可能,写法没有问题一定是数据库或者数据库连接配置上有问题。
后来才发现要批量执行的话,JDBC连接URL字符串中需要新增一个参数:rewriteBatchedStatements=true
master.jdbc.url=jdbc:mysql://112.126.84.3:3306/outreach_platform?useUnicode=true&characterEncoding=utf8&allowMultiQueries=true&rewriteBatchedStatements=true
关于rewriteBatchedStatements这个参数介绍:
MySQL的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。
MySQL JDBC驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,批量插入实际上是单条插入,直接造成较低的性能。
只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL
另外这个选项对INSERT/UPDATE/DELETE都有效
添加rewriteBatchedStatements=true这个参数后的执行速度比较:
同个表插入一万条数据时间近似值:
JDBC BATCH 1.1秒左右 > Mybatis BATCH 2.2秒左右 > 拼接SQL 4.5秒左右
可以看出批处理的速度还是非常给力的
提高MySQL插入性能的方法大概分为3类:
1、调整MySQL服务的相关参数
2、插入的时候对事物进行控制,不要每条提交一次
3、减少程序提交SQL给MySQL的频率,不要每次提交一条
本文针对第三点增加对应的参数,效果立竿见影,连接数据库参数 rewriteBatchedStatements=true。
例如:jdbc:mysql://127.0.0.1:3306/shanhy?rewriteBatchedStatements=true
本地电脑测试:
增加参数前,事物10000提交一次,实际插入速度大约1000每秒。
增加参数后,事物10000提交一次,实际插入速度大约9900左右每秒。
然后我修改事物为20000和5000进行测试,实际插入速度仍然在9800左右每秒。