MyBatis-Puls中saveBatch批量添加慢的问题

最新推荐文章于 2024-06-04 15:04:22 发布
最新推荐文章于 2024-06-04 15:04:22 发布
阅读量1.7k 收藏 10
点赞数
分类专栏： 数据查询优化 文章标签： mybatis java mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangjiaaiLM/article/details/126894079
版权

问题

在项目过程中使用MyBatis-Puls的saveBatch一次性添加大量数据时很慢

原因

MyBatis-Puls的saveBatch默认并没有批量添加，实际上在插入的时候仍然是一条条记录的插，速度远不如原来Mybatis的foreach拼接SQL的方法

测试

模拟使用saveBatch添加一万条数据

结果

结果可以看到输出的总耗时为5685，而上面的SQL日志可以证明数据是一条一条插入的 

优化

 

只需要在JDBC连接URL字符串中需要新增一个参数：rewriteBatchedStatements=true

这样可以让saveBatch实现批处理方式

重新执行后效果：最终耗时2948，几乎快了一半

 

关于rewriteBatchedStatements这个参数介绍：

MySQL的JDBC连接的url中要加rewriteBatchedStatements参数，并保证5.1.13以上版本的驱动，才能实现高性能的批量插入。
MySQL JDBC驱动在默认情况下会无视executeBatch()语句，把我们期望批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，批量插入实际上是单条插入，直接造成较低的性能。
只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL
另外这个选项对INSERT/UPDATE/DELETE都有效

Yang疯狂打码中
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
4K字详解：【MyBatis】saveBatch 性能调优
wdj_yyds的博客
05-26 3171
就是这个叫 rewriteBatchedStatements 的玩意，从名字来看是要重写批操作的 Statement，前面batchHasPlainStatements 已经是 false，取反肯定是 true，所以只要这参数是 true 就会进行一波操作。稍微总结下我粗略的对比（虽然粗略，但实验结果符合原理层面的理解），如果你想更准确地做实验，可以使用 JMH，并且测试更多组数（如 5000，10000等）的情况。耗费的时间是 59927 毫秒，比一条一条插入快了一倍，从这点来看，效率还是可以的。
mybatis-puls自定义代码生成器
01-04
MyBatis-Puls自定义代码生成器是提升开发效率的利器，它使得开发者能够从繁琐的手动编码工作中解脱出来，专注于更重要的业务逻辑。通过理解和熟练使用这个工具，可以大大提高团队的开发效率，同时保证代码的一致性...
mybatis-plus之saveBatch开启批量插入
enjoy.day
12-06 1984
mybatis-plus 批量插入
【MyBatis-plus】saveBatch 性能调优和【MyBatis】的数据批量入库
最新发布
yinchoushi8780的博客
06-04 1226
使用了【MyBatis-plus】saveBatch 但是数据入库效率依旧很慢，那可能是是因为JDBC没有配置，saveBatch 批量写入并没有生效哦！！！详细配置如下：批量数据入库：rewriteBatchedStatements=true# 数据源master:# 数据源Driver使用【MyBatis】进行数据的批量入库：拼接sql语句，每1000条数据入库一次。@Override//1.先删除原有场次和工程的数据，再进行导入//2.将结果插入到数据库中//条数为1。
MyBatisPlus批量写入方法saveBatch速度很慢的解决方案
dongdong199033的博客
05-25 5524
项目组在使用MyBatisPlus的批量插入方法saveBatch时速度缓慢，插入1w条数据，需要近1分钟的时间。
MyBatis-Plus的saveBatch批量插入为何效率很低，耗时很长，怎么解决？
weixin_55181056的博客
04-14 1万+
MyBatis-Plus的saveBatch批量插入为何效率很低，耗时很长，怎么解决？
MyBatis-Plus saveBatch保存太慢解决办法
暮雪寒寒的随手记
10-26 5591
mybatis-plus调用saveBatch方法保存慢的解决办法 主要有两个因素，具体可查看文章
MyBatis-Plus的saveBatch批量插入为何效率很低耗时长详解及解决方案
qq_40093255的博客
07-15 1万+
Mybatis-plus的saveBatch耗时详解及解决方案
数据量过大，使用saveBatch保存数据太慢如何解决：
世上哪有什么岁月静好,不过是有人替你负重前行
02-03 4310
如果没有特别要求，可以设置全局配置来保障，实际中使用批量保存的其实就特定表，也不是特别建议使用全局的配置，把可能的字段添加忽略就行了。. mybatis-plus使用saveBatch的时候，需要保证字段不为null，如果可能为null的话，在可以在注解上增加忽略。. 如果已经是一批一个insert以后，还是慢，则需要修改数据库链接，需要在数据库链接后面增加。如果需要查看具体原因，可参考，这位小伙伴测试的非常详细，我就不过多赘述了。修改完毕后，insert应该是一批一个insert，而不是一堆。
MyBatis-Plus入门+MyBatis-Plus文档手册 中文pdf高清版.rar
11-09
mybatis-plus就很好的解决了这个问题。 MyBatisPlus是一个Mybatis的增强工具，在 Mybatis 的基础上只做增强不做改变，为简化开发、提高效率而生。它主要通过启动时自动注入基本CURD，达到简化操作的目的。 关于...
mybatis-puls
04-03
mybatis-puls
mybatis-plus源码（mybatis-plus-3.5.1.zip）
03-03
MyBatis-Plus是MyBatis的扩展框架，它提供了许多高级特性，使得在实际开发中操作数据库变得更加简便。此源码包`mybatis-plus-3.5.1.zip`包含了MyBatis-Plus 3.5.1版本的全部源代码，有助于我们深入理解其内部实现...
mybatis-plus的批量新增insertBatchSomeColumn
暗武逢天的博客
03-23 1万+
批量新增指定字段是指在一次 SQL 语句中执行多条 INSERT 语句，但是只插入指定的字段。批量新增指定字段可以提高数据操作效率，减少数据库与应用程序之间的网络传输次数，减轻数据库服务器的压力，提高系统的并发性能。
mybatis-plus saveBatch批量插入慢的解决方法
留不尽的相思泪的博客
10-21 5061
最近一个项目中修改离职同事写的发送站内信的代码时，发现 mybatis-plus的 saveBatch 批量插入方法很慢，他的做法是点击发送时往用户表插入站内信信息，我当时随便发送了1万多条消息，接口耗时23秒，我看这确实有点慢。所以我看下了他的方法。 他是用同步发送的，这种方式确实不妥，推荐使用 异步或者mq处理，此处就不做详细描述。其实造成慢的原因是因为使用 mybatis-plus的 saveBatch 方法造成的。所以我就对这个问题进行了研究。 ...
MyBatis-plus批量写入数据方法saveBatch速度很慢原因排查
chengpei147的博客
03-18 1万+
问题场景： 使用MyBatis-plus的saveBatch方法执行数据批量insert 问题描述： /** * 批量添加设备 * @param deviceList * @param applicationName * @return */ public boolean saveBatchDevice(List<Device> deviceList, String applicationName) { if
Mybatis-plus批量插入、批量修改数据saveBatch等速度缓慢
热门推荐
zzzgd_666的博客
11-10 1万+
[转]Mybatis-plus批量插入、批量修改数据saveBatch等速度缓慢背景处理 Arebirth博客园: 原文链接 背景 使用mysqlPlus. 不管是updateBatch, 还是saveBatch, 800条左右的数据, 耗时都超过1s以上 尝试更改每次批量处理的数量, 比如: super.updateBatchById(list,1000); 如果不传第二个参数, mysqlPlus默认是1000. 这个根据调整, 发现低于1000, 耗时增加,1500到2500ms左右, 因为sq
对 MyBatis Plus SaveBatch 调优提升25倍性能！！！
kologin的博客
12-05 2356
最近在压测一批接口，发现接口处理速度慢的有点超出预期，感觉很奇怪，后面定位发现是数据库批量保存这块很慢。这个项目用的是，批量保存直接用的是提供的 saveBatch。于是开始排查之路。所以如果有使用 jdbc 的 Batch 性能方面的需求，要将rewriteBatchedStatements 设置为 true，这样能提高很多性能。然后如果喜欢手动拼接 sql 要注意一次拼接的数量，分批处理。
mybatis-puls的saveBatch
03-02
Mybatis-plus的saveBatch方法可以用来批量保存数据，参数是一个List类型的对象，其中每个元素表示一条记录。这个方法会自动将每条记录插入到数据库中。如果插入的数据量很大，建议使用saveBatch方法，可以提高插入数据的效率。此外，还可以使用其他方法来对数据进行操作，比如save方法用于保存单个对象，update方法用于更新数据等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Yang疯狂打码中

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值