mybatis-plus 处理大数据量太慢的解决

mybatis-plus 处理大数据量太慢的解决方法

大批量数据插入方法是Mybatis的foreach拼接SQL

我发现不管改成Mybatis Batch提交或者原生JDBC Batch的方法都不起作用,实际上在插入的时候仍然是一条条记录的插,速度远不如原来Mybatis的foreach拼接SQL的方法。

// 第一步判断更新或添加
	String[] splitUserId = userGroup.getUserId().split(",");
	String[] spiltUserName = userGroup.getUserName().split(",");
	if (StringUtils.isBlank(userGroup.getId())) {
		userGroup.setNum(spiltUserName.length);
		userGroupMapper.insert(userGroup);
	} else {
		userGroup.setNum(spiltUserName.length);
		userGroupMapper.updateById(userGroup);
	}
	/* 第二部删除中间表信息,字段冗余 */

	Map<String, Object> columnMap = new HashMap<String, Object>();
	columnMap.put("USER_GROUP_ID", userGroup.getId());
	groupUsersService.removeByMap(columnMap);

	/* 第三步,批量保存中间表 */

	if (splitUserId.length != 0) {
		List<GroupUsers> groupUsersList = Lists.newArrayList();
		for (int i = 0; i < splitUserId.length; i++) {
			GroupUsers gu = new GroupUsers();
			gu.setUserId(splitUserId[i]);
			gu.setUserName(spiltUserName[i]);
			gu.setUserGroupId(userGroup.getId());
			groupUsersList.add(gu);
		}
		groupUsersService.saveBatch(groupUsersList);
	}
  1. 就是这样的一种情景也很符合大部分的开发场景,可就是1000条数据的情况下用了8秒 ,这可能与计算机的性能有很大的关系,但就是如此也不至于用八秒钟,那么用户体验会很惨的。
  2. JDBC连接URL字符串中需要新增一个参数:rewriteBatchedStatements=true url: jdbc:mysql://192.168.1.143:3306/rt_xxxxxx_test?useUnicode=true&characterEncoding=utf-8&rewriteBatchedStatements=true
  3. MySQL的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。
  4. MySQL JDBC驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,批量插入实际上是单条插入,直接造成较低的性能。
    只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL
    另外这个选项对INSERT/UPDATE/DELETE都有效
  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值