为啥:使用mybatis-plus的批量插入接口特别慢？

最新推荐文章于 2024-07-03 19:16:36 发布
最新推荐文章于 2024-07-03 19:16:36 发布
阅读量3.9k 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuji0517/article/details/104892612
版权
Java实习生在项目中发现使用Mybatis-Plus的saveBatch方法进行批量插入时速度缓慢。讨论涉及批处理的batchSize设置，网络请求次数与效率，以及批处理的底层实现，如JDBC的batchExecute方法。建议可能的问题在于循环插入而非批量执行，推荐使用XML的foreach标签进行优化。
摘要由CSDN通过智能技术生成

本人Java实习生，做项目时遇到困难如题。团队项目代码用的是mybatis-plus的IService接口的saveBatch方法，但速度特别慢。

 

我在网上搜关于saveBatch的资料，很少，只知道batchSize是分批处理时一次性处理的数据条数，它的本质是为了让开发者选取一个小于数据库支持的size值，以便碰到异常时可以针对提交的数据进行回滚。

下图是我项目运行时插入的数据条数和对应耗时。

可以通过配置什么的优化它吗?有使用Mybatis-plus遇到同样问题的吗？可以解决吗？求大神帮忙，万分感谢

上面的图二三是Mybatis-plus的IService接口的源码

<
最低0.47元/天 解锁文章
liuji0517
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
mybatis-plus_batch_insert：mybatis_plus添加批量插入
02-14
#### 3.3 使用 MyBatis-Plus 进行批量插入 在 Service 层或 Dao 层，你可以调用 `insertList` 方法来批量插入数据。例如： ```java @Autowired private UserMapper userMapper; public void batchInsertUsers...
mybatis-plus 实践及架构原理
12-25
Mybatis-Plus是一个Mybatis的增强工具，在保留Mybatis原有特性的同时，提供了很多便捷的功能，如代码生成器、分页插件等，极大地提高了开发的效率，特别是在处理单表操作时。 2. Mybatis-Plus的核心功能： - 自动...
小狼-mybatis-plus的savebatch方法插入速度太慢/批量插入太慢解决
qq_44729800的博客
04-29 5789
本来要插入一个一两百条的数据，但是插入时候竟然用了二十多秒，这玩意谁顶得住啊 尝试： 1.使用mybaits-plus的saveBatch方法 2.使用流的并行方法：insertList.parallelStream().map( 3.一条条直接保存 三种方法耗时几乎一样，所以基本确定是这条语句他就是一条条去连接数据库插入的 解决方案： https://blog.csdn.net/bibiboyx/article/details/108574788?utm_medium=distribu.
mysql jdbc批处理,mybatis批处理,mybatis sql拼接批量传插入速度比较
weixin_43684328的博客
11-12 1419
环境:JDK8,Mysql5.7,Mybatis3.5.3 注意Mysql批处理时连接配置需开启批处理,否则批处理无效,速度比单条循环还要慢 数据库连接 数据库表 create table user ( id varchar(32) not null primary key, name varchar(100) null, sex varchar(5) null, age int null, corp varchar(
【第14章】MyBatis-Plus批量操作
zjg
07-03 1035
批量操作是一种高效处理大量数据的技术，它允许开发者一次性执行多个数据库操作，从而减少与数据库的交互次数，提高数据处理的效率和性能。数据插入（Insert）：批量插入是批量操作中最常见的应用场景之一。通过一次性插入多条记录，可以显著减少SQL语句的执行次数，加快数据写入速度。这在数据迁移、初始化数据等场景中尤为有用。数据更新（Update）：批量更新允许同时修改多条记录的特定字段，适用于需要对大量数据进行统一变更的情况，如批量修改用户状态、更新产品价格等。
mybatis-plus的savebatch方法插入速度慢的问题
Wuther_cz的博客
06-09 1万+
之前一直以为是MP的savebatch方法本身的效率问题 昨天难得有时间就打断点追踪了一下，发现问题出在自动填充FieldFill.INSERT 配置了自动填充之后，只要是插入操作都会去执行这个方法，即使我们的填充值没有被使用 如果填充值需要方法进行处理，那这个方法会被循环执行 例如，我用填充值取填充默认密码，password字段 每次执行插入，MP都会去填充这个字段，并且循环执行密码加密方法 相当下意识的一个错误 ...
MyBatis-Plus的saveBatch批量插入为何效率很低，耗时很长，怎么解决？
weixin_55181056的博客
04-14 1万+
MyBatis-Plus的saveBatch批量插入为何效率很低，耗时很长，怎么解决？
Mybatis-plus批量插入、批量修改数据saveBatch过慢问题
jingzhe0306的博客
03-17 2831
问题发生：导入excel文件时导入接口运行时间很长，大概1600条，格式见下图 在数据格式全部正确的情况下该接口在postman的运行时间在2分10秒，想办法优化。 https://zzzgd.blog.csdn.net/article/details/109604186 上面是在sql链接后追加: rewriteBatchedStatements=true，但是我们的配置在nacos上，所以在nacos上添加配置 spring: datasource: url: jdbc:mysql:/
mybatis-plus源码（mybatis-plus-3.5.1.zip）
03-03
4. **批量插入与更新**：MyBatis-Plus支持一次性插入或更新多条数据，提高了数据处理的效率。 5. **主键生成策略**：内置了多种主键生成策略，如ID_WORKER（分布式雪花算法）、SEQENCE（序列方式）等，可根据数据库...
SpringBoot整合EasyExcel+MyBatis-Plus实现Excel批量导入和导出
05-03
在`UserService`中，我们可以使用MyBatis-Plus的批量插入方法将数据保存到数据库： ```java @Service public class UserService { @Autowired private UserMapper userMapper; public void saveUser(User user)...
mybatis-plus-doc-master.zip
05-05
这份"mybatis-plus-doc-master.zip"压缩包包含的是 MyBatis-Plus 的官方文档，对于理解和使用这个框架非常有帮助。 首先，MyBatis-Plus 是一个轻量级的框架，它的核心思想是基于 MyBatis，并在其基础上进行了增强，...
java 大量 new 对象慢_用Java创建对象很慢
weixin_29188759的博客
02-24 1275
小编典典尝试看看您从中得到了什么-进行一些练习以尝试使VM无法优化循环：import java.util.ArrayList;import java.util.Random;class DummyInteger {private int i;public DummyInteger(int i) {this.i = i;}public int getI() {return i;}}public cl...
学会了MybatisPlus，代码开发效率提高了10倍
yangjnsjbad的博客
05-29 332
1. Mybatis 存在的痛点 我们知道 MyBatis 是一个基于 java 的持久层框架，它内部封装了 jdbc，极大提高了我们的开发效率。 但是使用 Mybatis 开发也有很多痛点： 每个 Dao 接口都需要自己定义一堆增删改查方法。 /** * @Desc: UserDao 接口 * @Author: 公众号：知否技术 * @date: 下午7:43 2022/5/7 */ public interface UserDao { // 获取所有用户信息 List&l
java运行速度慢的原因
码农之道
12-04 3815
         1)java是解释性语言,java程序在运行时类加载器从类路经中加载相关的类,然后java虚拟机读取该类文件的字节,执行相应操作.而C++编译的时候将程序编译成本地机器码.一般来说java程序执行速度要比C++慢10-30倍.即使采用just-in-time compiling (读取类文件字节后,编译成本地机器码)技术,速度也要比C++慢好多.       2)java
MyBatis-plus批量写入数据方法saveBatch速度很慢原因排查
chengpei147的博客
03-18 1万+
问题场景： 使用MyBatis-plus的saveBatch方法执行数据批量insert 问题描述： /** * 批量添加设备 * @param deviceList * @param applicationName * @return */ public boolean saveBatchDevice(List<Device> deviceList, String applicationName) { if
Mybatis-plus批量插入、批量修改数据saveBatch等速度缓慢
热门推荐
zzzgd_666的博客
11-10 1万+
[转]Mybatis-plus批量插入、批量修改数据saveBatch等速度缓慢背景处理 Arebirth博客园: 原文链接 背景 使用mysqlPlus. 不管是updateBatch, 还是saveBatch, 800条左右的数据, 耗时都超过1s以上 尝试更改每次批量处理的数量, 比如: super.updateBatchById(list,1000); 如果不传第二个参数, mysqlPlus默认是1000. 这个根据调整, 发现低于1000, 耗时增加,1500到2500ms左右, 因为sq
原创 Mybatis-Plus入门系列(12)- MybatisPlus之IService接口CRUD详解
记录知识、锤炼自我
03-31 4942
简介 Plust提供了一个顶级IService ，封装了很多CRUD操作，实际使用时，推荐直接在service层调用，Mapper： 采用 get 查询单行 remove 删除 list 查询集合 page 分页 前缀命名方式区分 Mapper 层避免混淆， 泛型 T 为任意实体对象 建议如果存在自定义通用 Service 方法的可能，请创建自己的 IBaseService 继承 Mybatis-Plus 提供的基类 对象 Wrapper 为 条件构造器 插入 Save boolean save(T
MyBatis-Plus saveBatch保存太慢解决办法
暮雪寒寒的随手记
10-26 5674
mybatis-plus调用saveBatch方法保存慢的解决办法 主要有两个因素，具体可查看文章
Mybatis-Plus insertBatch执行缓慢原因查询
liuwei0376的专栏
06-05 1万+
背景 最近在使用Mybatis-Plus执行一个88万条左右的数据插入MySQL数据库的操作时, 发现执行时长竟然长达2个小时, 按理讲, MP框架执行如下批处理操作时: XXService.insertBatch() XXService.updateBatchById() xxService.deleteBatchIds() xxService.selectBatchIds 在jdbc的底层将使用 stmt.addBatch() 和 stmt.executeBatch()方法, 根据以往使用原生
达梦使用mybatis-plus批量插入
最新发布
07-18
达梦数据库(DAMO)结合MyBatis Plus进行批量插入操作相对直观，MyBatis Plus提供了一种简便的方式来简化数据的增删改查操作。以下是批量插入的基本步骤： 1. 首先，确保你已经创建了一个实体类（Entity），这个类...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值