MyBatisPlus批量写入方法saveBatch速度很慢的解决方案

一、场景描述

项目组在使用MyBatisPlus的批量插入方法saveBatch时速度缓慢，插入1w条数据，需要近1分钟的时间。

二、解决方案

解决方案很简单，在数据库配置的uri后面加上下面这个属性即可：

rewriteBatchedStatements=true

加上之后发现，1w条数据入库也就在几百毫秒左右。
那么这个参数究竟是干什么用的呢，查阅了一下资料，得到下面这个描述：

rewriteBatchedStatements 是 MySQL JDBC 驱动程序的一个参数，用于启用或禁用批量更新语句的优化。当该参数设置为 true 时，JDBC 驱动程序会将多个 SQL 语句封装成一条批量更新语句，从而提高更新操作的效率；而当该参数设置为 false 时，JDBC 驱动程序则会将多个 SQL 语句单独发送到数据库服务器，并逐一执行，这种方式比较耗费时间和资源。

相当于这个参数设置为true的时候，执行的sql是类似下面这种形式：

insert into t (…) values (…) , (…), (…)

所以，如果自己在xml中写批量插入语句也是可以解决这个问题，例如下面这个写法：

<insert id="insertUsers">
  INSERT INTO user (user_id, user_name)
  VALUES
  <foreach collection ="userList" item="user" separator =",">
    (#{user.userId}, #{user.userName})
  </foreach>
</insert>

这样的话，每个xml中都需要写这一段，不用代码生成工具的话，不太友好，所以MyBatisPlus中有一个InsertBatchSomeColumn方法

三、拓展学习InsertBatchSomeColumn

这个InsertBatchSomeColumn方法可以给每个xml添加批量插入的方法，当然这个方法主要是为了，指定插入具体的列，而不是全部列，从而减轻数据库服务器的负担，提高数据插入效率。下面我们来配置下这个方法
1、首先拓展下MyBatisPlus自带的一个SQL注入器，加入InsertBatchSomeColumn方法

public class MySqlInjector extends DefaultSqlInjector {

    @Override
    public List<AbstractMethod> getMethodList(Class<?> mapperClass) {
        List<AbstractMethod> methodList = super.getMethodList(mapperClass);
        methodList.add(new InsertBatchSomeColumn(i -> i.getFieldFill() != FieldFill.UPDATE));
        return methodList;
    }
}

2、然后配置下我们的SQL

@Configuration
public class MybatisPlusConfig {
    @Bean
    public MySqlInjector sqlInjector() {
        return new MySqlInjector();
    }
}

3、拓展BaseMapper加入insertBatchSomeColumn方法

public interface MyBaseMapper<T> extends BaseMapper<T> {
    /**
     * 批量插入 仅适用于mysql
     *
     * @param entityList 实体列表
     * @return 影响行数
     */
    Integer insertBatchSomeColumn(Collection<T> entityList);
}

4、最后调用一下试试

@Test
public void insertBatchSomeColumnTest() {
    List<User> userList = new ArrayList<>();
    for (int i = 0; i < 10000; i++) {
        User user = new User();
        user.setUserId("userId" + i);
        user.setUserName("userName" + i);
        userList.add(user);
    }
    long startTime = System.currentTimeMillis();
    userMapper.insertBatchSomeColumn(userList);
    long endTime = System.currentTimeMillis();
    log.info("执行时间：" + (endTime - startTime) + "ms");
}

发现执行时间：824ms
具体执行的sql是什么样子的呢，我们可以在 InsertBatchSomeColumn 的方法 injectMappedStatement 里打上断点，删除数据，再执行一次看看
可以看到，sql正是我们想看到的，foreach循环