mybatis-plus大批量数据插入缓慢问题

最新推荐文章于 2024-08-01 00:45:00 发布

那些年我们还没秃

最新推荐文章于 2024-08-01 00:45:00 发布

阅读量4.4k

点赞数 1

分类专栏： MybatisPlus 文章标签： java

本文链接：https://blog.csdn.net/YouHaveToMoveOn/article/details/106649348

版权

MybatisPlus 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

mybatis-plus大批量数据插入缓慢问题

问题
排查
结果
建议
参考连接

问题

最近项目用的mybatis-plus做的映射，有个批处理文件内容的需求，在使用mybatis-plus的批处理方法saveBatch时发现速度特别慢，测试从1000到10000到80000条基本上是线性增加，80000条时差不多要90秒。

排查

在这里插入图片描述
经debug排查sql语句是批量执行，所以应该不是框架本身的问题，由于用的是公司的手脚架，在mysql连接配置中发现了问题

这里少配置了一个参数rewriteBatchedStatements=true

结果

修改前24w数据大概在254709 ms
修改后24w数据大概在42506 ms
单次批量插入10000条大概在1700ms

建议

由于我这边没有特殊的性能要求，没有做更多的性能测试，如果对性能有要求的小伙伴可以利用其他手段再进行测试

参考连接

https://www.jianshu.com/p/0f4b7bc4d22c
https://www.cnblogs.com/chenjianjx/archive/2012/08/14/2637914.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

那些年我们还没秃

关注关注

1
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

07-20

mybatis-plus3.5.2 jar包

06-25

mybatis-plus3.5.2常用jar包，mybatis-plus-3.5.2.jar、mybatis-plus-annotation-3.5.2.jar、mybatis-plus-core-3.5.2.jar、mybatis-plus-extension-3.5.2.jar、mybatis-plus-generator-3.5.2.jar和源码包mybatis-...

参与评论您还未登录，请先登录后发表或查看评论

Mybatis批量删除数据操作方法

09-01

MyBatis的作用我想不用多说,今天说说MyBatis中的批量删除操作。非常不错，感兴趣的朋友一起看看吧

mybatis-plus批量插入太慢，如何优化？

qq_45119519的博客

04-02

1679

MybatisPlus批量插入太慢了？如何优化？这篇文章带你至少提速60%！！！

【MyBatis】mybatis-plus 批量插入性能优化

最新发布

九师兄

08-01

1660

稍微总结下我粗略的对比（虽然粗略，但实验结果符合原理层面的理解），如果你想更准确地实验，可以使用JMH，并且测试更多组数（如 5000，10000等）的情况。批量保存方式数据量（条）耗时（ms）单条循环插入1000121011100059927mybatis-plus saveBatch(添加rewtire参数)10002589手动拼接sql10002275100055663jdbc executeBatch(添加rewtire参数)1000324。

MyBtais 批量插入慢排查及分析（结局）

战斧的博客

06-18

1573

MyBatis痛点验证，使用 foreach 批量插入慢？上次做的验证，因为无法复现生产场景，最终失败，这次我们来看后续进一步的验证与排查现在终于告一段落了，至于Druid 为什么会这么慢，还是有隐藏的设置导致的，后面还会继续追查，更新在这里。但无论如何，至少也证明了罪责不在mybatis上，mybatis的运行还是十分快的,2000行*26字段的数据，参数填充仅需119ms，符合纯计算的速度另外，在测试过程中，发现mybatis的日志输出影响也很可观，如果有必要，关闭日志输出也能有不小的效率提升。

Mybatis-plus批量插入、批量修改数据saveBatch等速度缓慢

入门菜鸟程序员的成长

09-14

1万+

问题：用mybatis批量插入近200条的数据大概用时5s！！这个速度太可怕了解决方案：百度找了很多方案，如并发插入多个线程同时操作，但效果仍不是很明显，并且资源开销大。最终解决方案是数据库连接参数配置了rewriteBatchedStatements=true最终得以解决！经过测试速度达到了毫秒级别， 100000条数据的情况下也控制在20s以下！ ...

调优 mybatis saveBatch 25倍性能

yes

04-04

1714

SpringBoot整合mybatis-plus实现多数据源的动态切换且支持分页查询.pdf

10-07

在SpringBoot项目中，整合Mybatis-Plus并实现多数据源的动态切换，同时支持分页查询是一项常见的需求。以下将详细阐述这个过程中的关键步骤和技术要点。首先，我们需要引入必要的Maven依赖。这里提到了四个关键...

使用mybatis-plus的insert方法遇到的问题及解决方法（添加时id值不存在异常）

09-07

在使用 MyBatis-Plus 的 `insert` 方法时，可能会遇到一些问题，特别是当尝试插入新记录时，可能会遇到“id 值不存在异常”。这个问题通常是由于 MyBatis-Plus 自动为实体类中的 `id` 字段生成默认值，而这个默认值...

mybatis-plus-extension-3.4.0.jar

03-01

mybatis-plus-extension-3.4.0.jar

Mybatis Plus 批量插入性能优化，非常实用！

码猿技术专栏

03-12

1735

大家好，我是不才陈某~物联网平台背景，传感器采集频率干到了1000Hz，分了100多张表出来，还是把mysql干炸了。当前单表数据量在1000来w，从kafka上拉数据异步批量插入，每次插入数据量1500条，测试的时候还没问题，结果上线没多久，kafka服务器直接挂了，赶忙看日志，kafka服务器堆积了几十G的数据，再去看生产环境日志，发现到最后单次批量插入用时固定在10多秒，甚至20多秒，kaf...

MybatisPlus 大批量数据插入缓慢问题

FKJGFK的博客

01-16

9022

一般在做业务的增删改查时，都会遇到大量数据插入的问题。如果数据记录达到几万条时，系统服务在数据入库时会卡的非常难受。如何快速的插入数据呢? 首先，我们都会想到进行批量插入数据，但是批量插入之间也有很大的差异。本文对比MybatisPlus 自带 saveBatch()方法、SqlSession 批量插入方式、自定义foreach方式、多线程foreach()...

java各位数字补位，左边补0

weixin_52380943的博客

12-16

4935

@Override @Transactional public CommonResult<RiHouseUnitAddResp> addUnit2(AddUnitReq req) { //社区 QueryWrapper<RiHouse> wrapperHouse = new QueryWrapper<RiHouse>(); wrapperHouse.eq("id", req.getHouseId()); ..

Mybatis-Plus批量插入

qq_43842093的博客

06-10

1万+

使用mybatis-plus做数据批量插入时候，发现通常我们自定义mapper接口继承BaseMapper。然而BaseMapper中不提供批量插入方法,只有单条插入方式。那如何批量插入呢？

mybatis以及mybatisplus批量插入问题

qq_48157004的博客

12-12

1万+

方案一就是用 for 循环循环插入：优点：JDBC 中的 PreparedStatement 有预编译功能，预编译之后会缓存起来，后面的 SQL 执行会比较快并且JDBC 可以开启批处理，这个批处理执行非常给力。缺点：很多时候我们的 SQL 服务器和应用服务器可能并不是同一台，所以必须要考虑网络 IO，如果网络 IO 比较费时间的话，那么可能会拖慢SQL 执行的速度。

MyBatis-Plus saveBatch保存太慢解决办法

暮雪寒寒的随手记

10-26

5845

mybatis-plus调用saveBatch方法保存慢的解决办法主要有两个因素，具体可查看文章

MyBatis批量插入大量数据（1w以上）--解决方案

热门推荐

xlecho的博客

10-10

2万+

echo编辑整理，欢迎转载，转载请声明文章来源。欢迎添加echo微信(微信号：t2421499075)交流学习。百战不败，依不自称常胜，百败不颓，依能奋力前行。——这才是真正的堪称强大！！！问题背景:只用MyBatis中foreach进行批量插入数据，一次性插入超过一千条的时候MyBatis开始报错。项目使用技术：SpringBoot、MyBatis 批量插入碰到的问题： java.la...

mybatis plus saveBatch 速度慢，批处理 rewriteBatchedStatements=true

IT_Yl的博客

06-29

1万+

MySQL Jdbc驱动在默认情况下会无视executeBatch()语句，把我们期望批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，直接造成较低的性能。只有把rewriteBatchedStatements参数置为true,驱动才会帮你批量执行SQL(jdbc:mysql://ip:port/db?rewriteBatchedStatements=true)。不过，驱动具体是怎么样批量执行的？　你是不是需要看一下内幕，才敢放心地使用这个选项？下文会给出答案。另外，有...

mybatis-plus批量插入数据

05-27

Mybatis-plus 的批量插入数据可以使用 Mybatis-plus 提供的 BatchExecutor 接口来实现。具体步骤如下： 1. 在 Mybatis-plus 的配置文件中开启 BatchExecutor： ```xml  <configuration>  <batchExecutor type="SIMPLE"/> </configuration> ``` 2. 在 Java 代码中使用 BatchExecutor 执行批量插入操作： ```java @Autowired private SqlSessionTemplate sqlSessionTemplate; public void batchInsert(List<User> userList) { SqlSession sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false); UserMapper userMapper = sqlSession.getMapper(UserMapper.class); try { for (User user : userList) { userMapper.insert(user); } sqlSession.commit(); } catch (Exception e) { sqlSession.rollback(); } finally { sqlSession.close(); } } ``` 其中，ExecutorType.BATCH 表示使用 BatchExecutor 执行操作，false 表示关闭自动提交事务，需要手动提交或回滚事务。注意：在执行批量操作时，需要控制每次插入的数据量，避免一次插入过多数据导致内存溢出。可以根据实际情况调整每批次插入的数据量。