mybatis-plus saveBatch批量插入慢的解决方法

           最近一个项目中修改离职同事写的发送站内信的代码时,发现 mybatis-plus的 saveBatch 批量插入方法很慢,他的做法是点击发送时往用户表插入站内信信息,我当时随便发送了1万多条消息,接口耗时23秒,我看这确实有点慢。所以我看下了他的方法。

        他是用同步发送的,这种方式确实不妥,推荐使用 异步或者mq处理,此处就不做详细描述。其实造成慢的原因是因为使用 mybatis-plus的 saveBatch 方法造成的。所以我就对这个问题进行了研究。

        首先看下我自己针对这个问题做的验证。使用 saveBatch 往表插入数据,分别插入1000,10000,50000,只做测试,实际业务中很少有插入这么多数据的情况。

首先看下我代码的截图,往岗位表插入数据,测试时均使用本地数据库,post 表中无数据测试:

@Test
	public void testInsertData() {
		List<SysPost> sysPostList = new ArrayList<>();
		SysPost sysPost = null;
		for (int i = 0; i < 1000; i ++) {
			sysPost = new SysPost();
			sysPost.setPostCode("test_code_" + i);
			sysPost.setPostName("test_name_" + i);
			sysPost.setPostSort(i);
			sysPost.setStatus(1);
			sysPostList.add(sysPost);
		}
		long startTime = new Date().getTime();
		sysPostService.saveBatch(sysPostList);
		long endTime = new Date().getTime();
		long l = endTime - startTime;
		System.out.println("插入完成时间:" + endTime + ",用时:" + l);
	}

数据库字段就不进行展示了,一共就几个字段。

下面是执行的耗时(单位:毫秒)

1000条数据耗时:953

10000条数据耗时:5140

5000条数据耗时:16884

通过查询资料发现MySQL JDBC驱动默认情况下会无视executeBatch()语句,会把批量语句拆散一条一条的发给数据库执行,批量插入实际上是单条插入,直接造成较低的性能。

只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL,另外这个选项对insert/update/delete 都是生效的,具体的可以进行测试验证。

下面是追加参数之后的执行时间(单位:毫秒):

1000条数据耗时:569

10000条数据耗时:3407

5000条数据耗时:12118

总体来说耗时有所提升,可能是我项目架构的原因,并没有测试出来在工作中遇到的特别慢的情况,公司的项目是springcloud。MP的批量插入,我看源码是1000条执行一次进行分批插入,自己写的批量插入方式暂时没有进行测试,可以自己测试验证。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值