基于MybatisPlus批量高效插入百万条数据

最新推荐文章于 2025-03-27 16:14:17 发布
最新推荐文章于 2025-03-27 16:14:17 发布
阅读量9.9k 收藏 25
点赞数 14
分类专栏： JAVA 中级JAVA成长营 文章标签： java mysql 性能优化 mybatis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mzh200801/article/details/135156204
版权
本文探讨了JAVA程序中如何通过逐条插入与批处理插入优化数据库数据插入性能，重点介绍了MybatisPlus的批量插入方式以及MySQL的rewriteBatchedStatements参数对性能提升的影响，为大规模数据插入提供优化策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引言

在JAVA程序开发中，对数据库进行大量数据插入是一个常见的操作，作为一个软件开发工程师，大批量的数据处理是日常工作，如何优化插入性能，提升数据处理效率是对大多数工程师的一个重要考验。本文将围绕逐条插入和批处理插入两种方式，结合MybatisPlus的实例，以及配置MySQL的连接参数来提升批处理插入的效率。

逐条插入的低效性能

首先，我们通过一个简单的测试展示了10万条数据逐条插入的执行情况，效率不要太低了。代码中使用了IService中的逐条插入功能，通过循环逐个插入10万条数据。结果表明，这种方式的性能较差，执行时间较长，如下图所示，每条语句，都会单独发送数据库执行，网络开销很大，执行效率很差，测试时，10万条数据的插入操作，用时120878ms，大约2分钟时间。
在这里插入图片描述

使用批量插入

接下来，我们引入MybatisPlus的批处理插入方式，通过saveBatch方法实现。测试结果显示，通过批处理插入，性能提升了约10倍，测试时用时测试时用时18500ms，即18秒， 比单条单条插入用时2分多种几乎快了10倍。

在这里插入图片描述
深入源码发现，

最低0.47元/天 解锁文章
面试题：MyBatis批量插入的五种方式，哪种最强？
xuxu96
11-07 376
列举了MyBatis和MyBatis-Plus常用的五种批量插入的方式，进行了详细的总结归纳@Override// 注意：此SQL注入器继承了DefaultSqlInjector(默认注入器)，调用了DefaultSqlInjector的getMethodList方法，保留了mybatis-plus的自带方法@Bean以上就是我对目前MyBatis常用的批量插入方法的总结。
SpringBoot+MybatisPlus+Mysql实现批量插入万级数据多种方式与耗时对比
BADAO_LIUMANG_QIZHI的博客
02-21 2497
基于以上基础，测试批量将万级以上数据插入到mysql数据中的多种方式。
MyBatis批量插入的五种方式
热门推荐
北执南念的博客
04-13 1万+
MyBatis批量插入的五种方式
02-MybatisPlus批量插入性能够吗？
JavaEdge全是干货的技术号
06-14 819
不要用 mybatis-plus 的批量插入，它其实也是遍历插入，性能很差的”。真的吗？遍历插入，反复创建。这是一个重量级操作，所以性能差。这里不用看源码也知道，因为这个和mybatis-plus没关系，而且我们现在使用SpringBoot，一般也用它的JDBC启动依赖。连接和连接池不是本文重点，总之这观点纯属无稽之谈，和不懂技术的领导说话一个德行一条 insert 就一次网络IO，数量多了，这是个很可观且没必要的开销，所以性能差。
Mybatis-plus实现批量插入的几种方式
最新发布
x1925416779的博客
03-27 403
1. 自定义SQL注入器实现DefaultSqlInjector，添加InsertBatchSomeColumn方法。ps：如果在你的项目中，仅仅有一两个类需要用到批量插入，那完全没必要抽取一个。底层和第二种方法是一样也是拼接sql，但无需手动编写sql语句。4.需要批量插入的Mapper继承自定义BaseMapper。2. 编写配置类，把自定义注入器放入spring容器。缺点是每个表都要手动编写xml，优点是效率较高。直接用你的业务Mapper继承。，并在对应业务Mapper中配置。
mybatis批量插入、mybatis-plus批量插入、mybatis实现insertList、mybatis自定义实现批量插入
weixin_49114503的博客
07-24 4138
mybatis批量插入、mybatis-plus批量插入、mybatis实现insertList、mybatis自定义实现批量插入
MyBatis 批量插入数据的 3 种方法！
程序员高级码农的博客
01-22 6626
本文我们介绍了 MyBatis 批量插入的 3 种方法，其中循环单次插入的性能最低，也是最不可取的；使用 MyBatis 拼接原生 SQL 一次性插入的方法性能最高，但此方法可能会导致程序执行报错（触发了数据库最大执行 SQL 大小的限制），所以综合以上情况，可以考虑使用 MP 的批量插入功能。
MyBatis-plus百万级数据量批量插入,并使用easyExcel导出excel
qq_39314620的博客
03-16 4200
Mybatis批量插入百万级数据量 注意事项及实现: application.yml中 jdbc的url配置要将rewriteBatchedStatements=true 配置,如果不配置,mybatis-plus的saveBatch方法不生效. spring: datasource: driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://localhost:3306/dataBase?rewriteBatche
MybatisPlus批量插入百万条数据
晴天飛 雪的博客
11-01 1092
做到了一个复制用户的功能，说白了就是将用户表里要的用户内容复制到另一张表里，看到以前写的就是for循环插入，体验就不是非常好，有时候还超时报错，所以看到MybatisPlus有个批量插入的那就来试试效果！
Mybatis-plus实现百万级数据插入优化（多线程）
捡星星的博客
08-16 1159
Mybatis-plus实现百万级数据插入优化（多线程），通过excel获取100w的数据，然后进行数据插入的优化
MybatisPlus实现真正批量插入
学不会就接着学
10-06 1万+
在 MyBatis-Plus 中实现真正高效的批量插入，可以通过多种方式实现，包括手动编写 XML SQL、使用IService接口的saveBatch方法以及自定义方法。每种方法都有其优缺点，开发者应根据具体业务需求和性能要求选择合适的方法。同时，合理的数据库配置和性能优化策略，也是确保批量操作高效执行的关键。通过本文的介绍，相信您能够更好地在项目中应用 MyBatis-Plus 实现高效的批量插入操作。
调优 mybatis saveBatch 25倍性能
yes
04-04 2483
稍微总结下我粗略的对比（虽然粗略，但实验结果符合原理层面的理解），如果你想更准确地实验，可以使用JMH，并且测试更多组数（如 5000，10000等）的情况。批量保存方式数据量（条）耗时（ms）单条循环插入1000121011100059927mybatis-plus saveBatch(添加rewtire参数)10002589手动拼接sql10002275100055663jdbc executeBatch(添加rewtire参数)1000324。
mybatis-plus_batch_insert：mybatis_plus添加批量插入
02-14
mybatis-plus_batch_insert：mybatis_plus添加批量插入
公司新来个同事，MyBatis批量插入10w条数据仅用2秒，拍案叫绝！
mxt51220的博客
09-05 958
本文我们介绍了 MyBatis 批量插入的 3 种方法，其中循环单次插入的性能最低，也是最不可取的；使用 MyBatis 拼接原生 SQL 一次性插入的方法性能最高，但此方法可能会导致程序执行报错（触发了数据库最大执行 SQL 大小的限制），所以综合以上情况，可以考虑使用 MP 的批量插入功能。
MyBatis-Plus批量插入，提升数据插入效率的利器！
理论都是虚的，代码才是王道。
01-02 1041
本文详细介绍了使用MyBatis-Plus进行批量插入的步骤和相关代码。通过MyBatis-Plus的便捷操作，我们可以轻松地实现数据的批量插入，提高插入效率。希望本文对您理解和使用MyBatis-Plus的批量插入有所帮助。
【MyBatis-Plus】之批量插入
王廷云的博客
09-08 1万+
一、应用情景介绍 在实际的项目开发过程中，常常遇到批量保存数据的场景，当数据量比较少，比如只有几条数据的情况下，我们可以使用 for 循环来 insert 数据，但如果数据量比较多的情况下就不行，特别是并发的情况下，因为这样会增加数据库的负担。 我们通过查看 mybatis-plus 源码发现，mybatis-plus 的 IService API 接口提供了批量插入的接口： public interface IService<T> { ...... /** * 插入
【Mybatis】使用批处理优化百万数据量插入
依然耀眼的博客
03-23 1029
这是因为使用 MyBatis 原生批量插入拼接的插入 SQL 大小是 4.56M，而默认情况下 MySQL 可以执行的最大 SQL 为 4M，那么在程序执行时就会报错了。使用MyBatis 原生批量插入时，当传入的LIst数据量过大就会出现以下错误。第二部：改造我们的 MyBatis 批量插入代码。将LIst分成多份循环插入，也就是分片批量插入。一次插入32w算量数据从90分钟优化成18秒。读取三个不同大小的模型算量测试。27152 1.7秒。322830 18秒。
mybatis-plus批量插入数据
飞得更高肥尾沙鼠
12-08 7664
mybatis-plus批量插入数据
MybatisPlus——批量新增
LIUCHANGSHUO的博客
04-23 3322
在yml的jdbc的配置上加入一个rewriteBatchedStatements=true。缺点：因为每次的插入数量的限制，这就会在预编译的批处理产生一百条插入语句，也很耗时。要想只编译为一条sql语句，就要和这样插入语句一样。缺点：每插入一次，就会生成一条插入语句，极其耗时。再次执行这段代码，运行时间缩短很多。
mybatisplus 百万级数据插入oracle
07-28
在MyBatis Plus中插入大量数据到Oracle数据库可以使用批量插入的方式，可以通过`insertBatch`方法来实现。 首先，确保你的实体类和数据库表的字段映射正确。 假设你有一个名为`User`的实体类，对应数据库表`user`，可以按照以下步骤进行操作： 1. 创建一个包含百万级数据的列表，例如`List<User>` userList。 2. 调用MyBatis Plus提供的`insertBatch`方法进行批量插入操作。 下面是一个示例代码： ```java List<User> userList = new ArrayList<>(); // 将百万级数据添加到userList中 userService.saveBatch(userList, 1000); // 每次插入1000条数据 ``` 在上述代码中，我们使用`saveBatch`方法进行批量插入操作。第一个参数是待插入的数据列表，第二个参数是每次插入的数据条数。 请注意，在插入大量数据时，可能需要适当地调整数据库的相关配置，例如增加事务超时时间、调整批量插入的提交间隔等。此外，还需要根据具体情况进行性能优化，例如使用合适的索引、优化SQL语句等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老D不是传说

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值