MyBatis之foreach的坑

筑基期的小菜鸟

于 2023-04-16 20:49:08 发布

阅读量212

点赞数

分类专栏： MyBatis 文章标签： mybatis java

本文链接：https://blog.csdn.net/weixin_45949103/article/details/130187098

版权

MyBatis 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

背景

在近期的项目中，有一个耗时较长的Job存在CPU占用过高的问题。经排查发现，主要时间消耗在往MyBatis中批量插入数据。mapper configuration是使用foreach循环做的，示例代码如下：

<insert id="batchInsert" parameterType="java.util.List">
    insert into USER (id, name) values  
    <foreach collection="list" item="model" index="index" separator=",">
        (#{model.id}, #{model.name})
    </foreach>
</insert>

这个方法提升批量插入速度的原理是将传统的：

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");

转化为：

INSERT INTO `table1` (`field1`, `field2`)
      VALUES ("data1", "data2"),
             ("data1", "data2"),
             ("data1", "data2"),
             ("data1", "data2"),
             ("data1", "data2");

在MySQL Docs中也提到过，如果要优化插入速度时，可以将许多小型操作组合到一个大型操作中。在理想情况下，这样可以在单个连接中一次发送许多新行的数据，并将所有索引更新和一致性检查延迟到最后进行。
如果只是看表面的代码，foreach是没有问题的，但是经过长期的实践发现，当表的列数较多（20+），以及一次性插入的行数较多（5000+）时，整个插入的耗时十分漫长，可以达到10多分钟之上。

SqlSession session = sessionFactory.openSession(ExecutorType.BATCH);
for (Model model : list) {
    session.insert("insertStatement", model);
}
session.flushStatements();

查阅相关资料和阅读源码后发现，MyBatis默认执行器类型为Simple，会为每个语句创建一个新的预处理语句，也就是创建一个PreparedStatement对象，在我们使用的时候，会不停的使用批量插入这个方法，在MyBatis对于含有的语句，无法采用缓存，那么每次调用这个方法的时候，都会重新解析sql语句。
由此可知，耗时绝大数在这里，由于我们foreach后有5000+个values，所以这个PreparedStatement特别长，包含了很多占位符，对于占位符和参数的映射会非常耗时，查阅相关资料可知，values的增长与所需的解析时间是呈指数型增长的。
在这里插入图片描述

所以，如果非要使用 foreach 的方式来进行批量插入的话，可以考虑减少一条 insert 语句中 values 的个数，最好能达到上面曲线的最底部的值，使速度最快。一般按经验来说，一次性插20~50行数量是比较合适的，时间消耗也能接受。
重点来了。上面讲的是，如果非要用的方式来插入，可以提升性能的方式。而实际上，MyBatis文档中写批量插入的时候，是推荐使用另外一种方法。（可以看 http://www.mybatis.org/mybatis-dynamic-sql/docs/insert.html 中 Batch Insert Support 标题里的内容）

SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {
    SimpleTableMapper mapper = session.getMapper(SimpleTableMapper.class);
    List<SimpleTableRecord> records = getRecordsToInsert(); // not shown
   
    BatchInsert<SimpleTableRecord> batchInsert = insert(records)
            .into(simpleTable)
            .map(id).toProperty("id")
            .map(firstName).toProperty("firstName")
            .map(lastName).toProperty("lastName")
            .map(birthDate).toProperty("birthDate")
            .map(employed).toProperty("employed")
            .map(occupation).toProperty("occupation")
            .build()
            .render(RenderingStrategy.MYBATIS3);
   
    batchInsert.insertStatements().stream().forEach(mapper::insert);
   
    session.commit();
} finally {
    session.close();
}

即基本思想是将 MyBatis session 的 executor type 设为 Batch ，然后多次执行插入语句。就类似于JDBC的下面语句一样。

Connection connection = DriverManager.getConnection("jdbc:mysql://127.0.0.1:3306/mydb?useUnicode=true&characterEncoding=UTF-8&useServerPrepStmts=false&rewriteBatchedStatements=true","root","root");
connection.setAutoCommit(false);
PreparedStatement ps = connection.prepareStatement(
        "insert into tb_user (name) values(?)");
for (int i = 0; i < stuNum; i++) {
    ps.setString(1,name);
    ps.addBatch();
}
ps.executeBatch();
connection.commit();
connection.close();