从120s到2.5s！看看人家的MyBatis批量插入数据优化，那叫一个优雅！

最新推荐文章于 2024-05-24 02:08:26 发布
最新推荐文章于 2024-05-24 02:08:26 发布
阅读量180 收藏
点赞数
文章标签： mybatis java 数据库 开发语言
原文链接：https://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247571328&idx=3&sn=2a0284995c87c4f817e1316932b715f2&chksm=fa4ba831cd3c212748aab019f3ebfa0b9512a5f7e15f9b90d1cbeb18b0bf0a974ff30dd2fd15&scene=126&sessionid=0
版权

点击上方“芋道源码”，选择“设为星标”

管她前浪，还是后浪？

能浪的浪，才是好浪！

每天 10:33 更新文章，每天掉亿点点头发...

源码精品专栏

 

来源：yes的练级攻略

147c0e3f3eb38dbd8afecf37241dd39c.jpeg

最近在压测一批接口，发现接口处理速度慢的有点超出预期，感觉很奇怪，后面定位发现是数据库批量保存这块很慢。

这个项目用的是 mybatis-plus，批量保存直接用的是 mybatis-plus 提供的 saveBatch。

我点进去看了下源码，感觉有点不太对劲：

3a1789de55fe0ab38e921c06d31baa2e.png

我继续追踪了下，从这个代码来看，确实是 for 循环一条一条执行了 sqlSession.insert，下面的 consumer 执行的就是上面的 sqlSession.insert:

962b2ee83f6a244d9125055a9322db5e.png

然后累计一定数量后，一批 flush。

从这点来看，这个 saveBach 的性能肯定比直接一条一条 insert 快。

我直接进行一个粗略的实验，简单创建了一张表来对比一波！

粗略的实验

1000条数据，一条一条插入

@Test
void MybatisPlusSaveOne() {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    try {
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("mybatis plus save one");
        for (int i = 0; i < 1000; i++) {
            OpenTest openTest = new OpenTest();
            openTest.setA("a" + i);
            openTest.setB("b" + i);
            openTest.setC("c" + i);
            openTest.setD("d" + i);
            openTest.setE("e" + i);
            openTest.setF("f" + i);
            openTest.setG("g" + i);
            openTest.setH("h" + i);
            openTest.setI("i" + i);
            openTest.setJ("j" + i);
            openTest.setK("k" + i);
            //一条一条插入
            openTestService.save(openTest);
        }
        sqlSession.commit();
        stopWatch.stop();
        log.info("mybatis plus save one：" + stopWatch.getTotalTimeMillis());
    } finally {
        sqlSession.close();
    }
}
b4153527343ba197f6fa4e2003487cf6.png

可以看到，执行一批 1000 条数的批量保存，耗费的时间是 121011 毫秒。

1000条数据用 mybatis-plus 自带的 saveBatch 插入

@Test
void MybatisPlusSaveBatch() {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    try {
        List<OpenTest> openTestList = new ArrayList<>();
        for (int i = 0; i < 1000; i++) {
            OpenTest openTest = new OpenTest();
            openTest.setA("a" + i);
            openTest.setB("b" + i);
            openTest.setC("c" + i);
            openTest.setD("d" + i);
            openTest.setE("e" + i);
            openTest.setF("f" + i);
            openTest.setG("g" + i);
            openTest.setH("h" + i);
            openTest.setI("i" + i);
            openTest.setJ("j" + i);
            openTest.setK("k" + i);
            openTestList.add(openTest);
        }
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("mybatis plus save batch");
        //批量插入
        openTestService.saveBatch(openTestList);
        sqlSession.commit();
        stopWatch.stop();
        log.info("mybatis plus save batch：" + stopWatch.getTotalTimeMillis());
    } finally {
        sqlSession.close();
    }
}
e938a76094843fda92a36f29b29a8b9b.png

耗费的时间是 59927 毫秒，比一条一条插入快了一倍，从这点来看，效率还是可以的。

然后常见的还有一种利用拼接 sql 方式来实现批量插入，我们也来对比试试看性能如何。

1000条数据用手动拼接 sql 方式插入

搞个手动拼接：

b8ff806f05f600cec66d8f5c2e9d344c.png来跑跑下性能如何：

@Test
void MapperSaveBatch() {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    try {
        List<OpenTest> openTestList = new ArrayList<>();
        for (int i = 0; i < 1000; i++) {
            OpenTest openTest = new OpenTest();
            openTest.setA("a" + i);
            openTest.setB("b" + i);
            openTest.setC("c" + i);
            openTest.setD("d" + i);
            openTest.setE("e" + i);
            openTest.setF("f" + i);
            openTest.setG("g" + i);
            openTest.setH("h" + i);
            openTest.setI("i" + i);
            openTest.setJ("j" + i);
            openTest.setK("k" + i);
            openTestList.add(openTest);
        }
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("mapper save batch");
        //手动拼接批量插入
        openTestMapper.saveBatch(openTestList);
        sqlSession.commit();
        stopWatch.stop();
        log.info("mapper save batch：" + stopWatch.getTotalTimeMillis());
    } finally {
        sqlSession.close();
    }
}
2a6f3a36a0ecfcc2592bba634e32a382.png

耗时只有 2275 毫秒，性能比 mybatis-plus 自带的 saveBatch 好了 26 倍！

这时，我又突然回想起以前直接用 JDBC 批量保存的接口，那都到这份上了，顺带也跑跑看！

1000条数据用 JDBC executeBatch 插入

@Test
void JDBCSaveBatch() throws SQLException {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    Connection connection = sqlSession.getConnection();
    connection.setAutoCommit(false);

    String sql = "insert into open_test(a,b,c,d,e,f,g,h,i,j,k) values(?,?,?,?,?,?,?,?,?,?,?)";
    PreparedStatement statement = connection.prepareStatement(sql);
    try {
        for (int i = 0; i < 1000; i++) {
            statement.setString(1,"a" + i);
            statement.setString(2,"b" + i);
            statement.setString(3, "c" + i);
            statement.setString(4,"d" + i);
            statement.setString(5,"e" + i);
            statement.setString(6,"f" + i);
            statement.setString(7,"g" + i);
            statement.setString(8,"h" + i);
            statement.setString(9,"i" + i);
            statement.setString(10,"j" + i);
            statement.setString(11,"k" + i);
            statement.addBatch();
        }
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("JDBC save batch");
        statement.executeBatch();
        connection.commit();
        stopWatch.stop();
        log.info("JDBC save batch：" + stopWatch.getTotalTimeMillis());
    } finally {
        statement.close();
        sqlSession.close();
    }
}
6daf20eec13d6d35b94b80eb68d1320a.png

耗时是 55663 毫秒，所以 JDBC executeBatch 的性能跟 mybatis-plus 的 saveBatch 一样（底层一样）。

综上所述，拼接 sql 的方式实现批量保存效率最佳。

但是我又不太甘心，总感觉应该有什么别的法子，然后我就继续跟着 mybatis-plus 的源码 debug 了一下，跟到了 mysql 的驱动，突然发现有个 if 里面的条件有点显眼：

8acb782e28b4e45b64a2043501dd3859.png

就是这个叫 rewriteBatchedStatements 的玩意，从名字来看是要重写批操作的 Statement，前面batchHasPlainStatements 已经是 false，取反肯定是 true，所以只要这参数是 true 就会进行一波操作。

我看了下默认是 false。

3bd4e3e2f82e1fc91d3168505f544f4a.png

同时我也上网查了下 rewriteBatchedStatements 参数，好家伙，好像有用！我直接将 jdbcurl 加上了这个参数：

4892959ef22d7762d9b6371f182ef8cd.png

然后继续跑了下 mybatis-plus 自带的 saveBatch，果然性能大大提高，跟拼接 SQL 差不多！

8e3b52d3f13237cb2a11ae4da05e9c2f.png

顺带我也跑了下 JDBC 的 executeBatch ，果然也提高了。

5b2d2da321a1451d43d261e59b3e8de9.png

然后我继续 debug ，来探探 rewriteBatchedStatements 究竟是怎么 rewrite 的！

如果这个参数是 true，则会执行下面的方法且直接返回：

796df7c88bac6199aa7fa9232531cd5d.png

看下 executeBatchedInserts 究竟干了什么：

4d3915c7ee60e610e5eb78796bd5e94c.png

看到上面我圈出来的代码没，好像已经有点感觉了，继续往下 debug。

果然！sql 语句被 rewrite了：

d622a0531b61a721a0a6b0a2bbf8e607.png

对插入而言，所谓的 rewrite 其实就是将一批插入拼接成 insert into xxx values (a),(b),(c)...这样一条语句的形式然后执行，这样一来跟拼接 sql 的效果是一样的。

那为什么默认不给这个参数设置为 true 呢？

原来是这样的：

  1. 如果批量语句中的某些语句失败，则默认重写会导致所有语句都失败。

  2. 批量语句的某些语句参数不一样，则默认重写会使得查询缓存未命中。

看起来影响不大，所以我给我的项目设置上了这个参数！

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址：https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程：https://doc.iocoder.cn/video/

最后

稍微总结下我粗略的对比（虽然粗略，但实验结果符合原理层面的理解），如果你想更准确地实验，可以使用JMH，并且测试更多组数（如 5000，10000等）的情况。

批量保存方式数据量（条）耗时（ms）
单条循环插入1000121011
mybatis-plus saveBatch100059927
mybatis-plus saveBatch(添加rewtire参数)10002589
手动拼接sql10002275
jdbc executeBatch100055663
jdbc executeBatch(添加rewtire参数)1000324

所以如果有使用 jdbc 的 Batch 性能方面的需求，要将 rewriteBatchedStatements 设置为 true，这样能提高很多性能。

然后如果喜欢手动拼接 sql 要注意一次拼接的数量，分批处理。

欢迎加入我的知识星球，一起探讨架构，交流源码。加入方式，长按下方二维码噢：

820ec1e66c0ac3da4df62bbe3c150aab.png

已在知识星球更新源码解析如下：

c93978ab7e7530295f42187673874b8f.jpeg

493b9b7ddc4af368f460fa92bd19df9f.jpeg

1c82b3b62d6171b6bb3ef805ae2a0eb7.jpeg

56d85654cd01ae05189d303a79fd8f8d.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列，已经 101 余篇，覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例，以及超 4W 行代码的电商微服务项目。

获取方式：点“在看”，关注公众号并回复 666 领取，更多内容陆续奉上。

文章有帮助的话，在看，转发吧。
谢谢支持哟 (*^__^*）
公众号-芋道源码
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LGK120S专用解密软件
04-04
首先安装编程软件，你必须使用这个版本的编程软件， 3.62版。安装完成后用Kgl_Wc文件替换安装文件夹下的同名文件即可。联机下载后若提示密码输入，可以不予理睬，关闭即可，程序可以照常下载，自己用过成功破解自己...
K120S用户手册
03-19
介绍了关于K120S用户手册的详细说明，提供LS的技术资料的下载。
从80s到1s！看看人家的 MyBatis 批量插入数据优化，那叫一个优雅！
芋艿V
03-05 40
???? 这是一个或许对你有用的社群???? 一对一交流/面试小册/简历优化/求职解惑，欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料：《项目实战（视频）》：从书中学，往事上“练”《互联网高频面试题》：面朝简历学习，春暖花开《架构 x 系统设计》：摧枯拉朽，掌控面试高频场景题《精进 Java 学习指南》：系统学习，互联网主流技术栈《必读 Java 源码专栏》：知其然，知其所以然????这是一个或许...
MyBatis批量插入数据优化，一个参数让效率飙升百倍
资料免费分享，点击名片
10-31 1902
项目中进行接口压测，发现批量插入的速度有点超出预期，感觉很奇怪，经过定位后发现mybatise-plus批量保存的处理十分缓慢，使用的是saveBatch方法，这点有点想不通。于是就进行了相关内容分析。根据mybatise-plus中saveBatch的方法进行源码查看:继续跟踪逻辑，从代码上看，确实是一条条执行了sqlSession.insert(sqlStatement, entity) 方法。
mybatis JDBC 批量插入慢的其中一种情况
bear的博客
10-20 1929
mybatis JDBC 批量插入慢的其中一种情况
shardingjdbc批量插入太慢，shardingjdbc动态路由
sxz13145的博客
05-12 1314
shardingjdbc批量插入太慢，shardingjdbc动态路由
Mybatis的三种批量插入方式耗时比较
qq_42615006的博客
09-30 592
Mybatis的三种批量插入方式
LS(LG)产电MASTER-K120S系列用户手册（新）.rar
01-03
LS(LG)产电MASTER-K120S系列用户手册（新）rar,
LG-K120S 说明书
03-11
LG PLC-K120S 详细说明书
AR120-S-V200R009C00SPC500.zip
09-05
华为AR121-S R009固件版本AR120-S-V200R009C00SPC500，支持新的AP管理
MyBtais 批量插入慢排查及分析（结局）
战斧的博客
06-18 1262
MyBatis痛点验证，使用 foreach 批量插入慢？上次做的验证，因为无法复现生产场景，最终失败，这次我们来看后续进一步的验证与排查现在终于告一段落了，至于Druid 为什么会这么慢，还是有隐藏的设置导致的，后面还会继续追查，更新在这里。但无论如何，至少也证明了罪责不在mybatis上，mybatis的运行还是十分快的,2000行*26字段的数据，参数填充仅需119ms，符合纯计算的速度另外，在测试过程中，发现mybatis的日志输出影响也很可观，如果有必要，关闭日志输出也能有不小的效率提升。
MyBatis-Plus saveBatch保存太慢解决办法
暮雪寒寒的随手记
10-26 5414
mybatis-plus调用saveBatch方法保存慢的解决办法 主要有两个因素，具体可查看文章
mybatis三种批量插入方式
weixin_48904737的博客
04-03 2917
其次是foreach标签，foreach标签是通过拼接SQL语句的方式完成批量操作的。但是当拼接的SQL过多，导致SQL大小超过了MySQL服务器中max_allowed_packet变量的值时，会导致操作失败，抛出PacketTooBigException异常。最后是循环插入的方式，这种方式在数据量小的时候可以使用，在数据量大的情况下效率要低很多。
Mybatis的批量查询，批量更新
琉璃的博客
07-04 5140
mybatis批量查询批量更新操作
jdbc的rewriteBatchedStatements参数配置
xby7437的博客
09-25 1161
在做项目开发时候，我们在使用mysql时，底层驱动一般都是jdbc，但是我们在执行批量时候，如果开启rewriteBatchedStatements参数配置时，是无法批量更新的，因为在mysql底层会进行判断 jdbc:mysql://localhost:3306/test?characterEncoding=utf8&allowMultiQueries=true&rewriteBatchedStatements=true ...
Activiti5 实用性代码解析(适配国产数据库神通、达梦 类oracle数据库)
轨迹的博客
10-20 2422
开源工作流activiti5.22.0针对国产数据库进行的配置。原理和activiti7类似
java学习和项目总结
最新发布
2301_79390585的博客
05-24 603
JRE：JRE是Java 运行时环境，主要包括了两个运行需要的组件：JVM 和 Java 核心类库，如果不进行java开发只想运行就可以只下载JRE。而Java语言，它的代码会先通过javac编译成字节码，再通过jvm将字节码转换成机器码（0和1）执行，即解释运行和编译运行配合使用，所以是混合型。在程序运行之前，通过编译器将源程序编译成机器码可运行的二进制，以后执行这个程序时，就不用再进行编译了。JVM：JVM是java进行编译的虚拟机，是Java 能够跨平台运行的核心。特点：执行速度慢、效率低；
SpringBoot Validation自定义注解之校验指定最小整数
thinkers
05-21 484
1，引入核心关键依赖。
帮我画个图，横坐标从0到120s，纵坐标从0到20，从0s开始递增，到60s收敛到6的曲线，
06-02
好的，这是一条从0s开始递增，到60s左右收敛到6的曲线，横坐标范围为0到120s，纵坐标范围为0到20，你可以根据这个示例画出自己的图。 ``` 6| | | ___________ | / | / | / | / |/ | ___________|___...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值