MyBatis 批量插入foreach耗时长性能低实战

一 MyBatis批量插入foreach耗时分析

近日项目中有一个耗时较长的Job存在CPU占用过高的问题，
经排查发现，主要时间消耗在往MyBatis中批量插入数据。
mapper configuration是用foreach循环做的，差不多是这样。
当表的列数较多（20+），以及一次性插入的行数较多（5000+）时，
整个插入的耗时十分漫长，达到了14分钟，这是不能忍的。
由于我foreach后有5000+个values，所以这个PreparedStatement特别长，
包含了很多占位符，对于占位符和参数的映射尤其耗时。

<insert id="batchInsert" parameterType="java.util.List">
    insert into USER (id, name) values
    <foreach collection="list" item="model" index="index" separator=","> 
        (#{model.id}, #{model.name})
    </foreach>
</insert>
这个方法提升批量插入速度的原理是，将传统的：
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
转化为：
INSERT INTO `table1` (`field1`, `field2`) 
VALUES ("data1", "data2"),
("data1", "data2"),
("data1", "data2"),
("data1", "data2"),
("data1", "data2");

二 MyBatis批量插入foreach耗时解决

解决方式一

MyBatis文档中写批量插入的时候，是推荐使用另外一种方法

SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {
    SimpleTableMapper mapper = session.getMapper(SimpleTableMapper.class);
    List<SimpleTableRecord> records = getRecordsToInsert(); // not shown
 
    BatchInsert<SimpleTableRecord> batchInsert = insert(records)
            .into(simpleTable)
            .map(id).toProperty("id")
            .map(firstName).toProperty("firstName")
            .map(lastName).toProperty("lastName")
            .map(birthDate).toProperty("birthDate")
            .map(employed).toProperty("employed")
            .map(occupation).toProperty("occupation")
            .build()
            .render(RenderingStrategy.MYBATIS3);
 
    batchInsert.insertStatements().stream().forEach(mapper::insert);
 
    session.commit();
} finally {
    session.close();
}

即基本思想是将 MyBatis session 的 executor type 设为 Batch ，然后多次执行插入语句。
经过试验，使用了 ExecutorType.BATCH 的插入方式，性能显著提升，不到 2s 便能全部插入完成。

解决方式二

如果非要用<foreach>的方式来插入,可以提升性能的方式。
一般按经验来说，一次性插20~50行数量是比较合适的，时间消耗也能接受。

总结一下

如果MyBatis需要进行批量插入，
推荐使用 ExecutorType.BATCH 的插入方式，
如果非要使用 <foreach>的插入的话，需要将每次插入的记录控制在 20~50 左右。