mybatis-plus批量插入太慢，如何优化？

最新推荐文章于 2024-06-07 00:17:01 发布

山与晚枫♗

最新推荐文章于 2024-06-07 00:17:01 发布

阅读量1.3k

点赞数 12

文章标签： mybatis

本文链接：https://blog.csdn.net/qq_45119519/article/details/137251974

版权

背景：前几天做项目的时候有一个Excel导入功能，有20w+数据，当时导入批量插入时间很慢，大概要将近半个小时，现在有时间了，我复现一下场景给大家优化一下！

先分析代码，得出结论

//测试批量插入
@Test
public void batchInsert() {
    ArrayList<User> users = new ArrayList<>();
    for (int i = 0; i < 50000; i++) {
        users.add(generateRandomUser());
    }
    long startTime = System.currentTimeMillis();
    userService.saveBatch(users);
    long endTime = System.currentTimeMillis();
    double totalTime = (endTime - startTime) / 1000.0;
    System.out.println("插入成功，耗时：" + String.format("%.5f", totalTime));
}

这里的批量插入使用的是mybatisplus提供的saveBatch默认方法，大伙不妨停下脚步点进去看看：
其中关键方法是saveBatch，源码为：
我们启动服务后，debug一下该方法：

可以看出这个所谓的批量插入接口，其实就是一个for循环插入，所以会对数据库产生很大的压力！（5万条数据耗时9.89900秒）

这就奇怪了哦，如果是我们自己，我们第一反应是不是应该这样批量

INSERT INTO test (a, b, c) VALUES
<foreach collection="list" item="item" separator=",">
    (#{item.a}, #{item.b}, #{item.c})
</foreach>

优化：

第一步（无脑）：先在配置文件数据库连接地址url最后上加rewriteBatchedStatements=true参数
第二步：仔细阅读源码发现，他的CRUD方法其实都是实现了一个叫做AbstractMethod的类的，类继承如图

其中我们看到有一个方法是InsertBatchSomeColumn，这个方法实际上就是我们手写的那种批量插入的功能的实现了，我们现在要做的是把这个方法注入到我们的工程中，并且替换掉之前的saveBatch方法：

新增我们自己的SQL注入器，用来扩展批量插入：

import com.baomidou.mybatisplus.core.injector.AbstractMethod;
import com.baomidou.mybatisplus.core.injector.DefaultSqlInjector;
import com.baomidou.mybatisplus.core.metadata.TableInfo;
import com.baomidou.mybatisplus.extension.injector.methods.InsertBatchSomeColumn;

import java.util.List;

/**
 * @author lzw
 * @version 1.0
 * @date 2024/4/2 0:34
 */
public class MyInjector extends DefaultSqlInjector {

    @Override
    public List<AbstractMethod> getMethodList(Class<?> mapperClass, TableInfo tableInfo) {
        // 防止父类的方法不可使用
        List<AbstractMethod> methodList = super.getMethodList(mapperClass, tableInfo);
        // 添加批量插入的方法
        methodList.add(new InsertBatchSomeColumn());
        return methodList;
    }
}

注，因为mybatis-plus版本不一，有些版本getMethodList方法没有TableInfo tableInfo参数，直接去掉即可。

然后我们将写好的Bean注入到Spring容器中：

@Bean
public MyInjector myInjector() {
	return new MyInjector();
}

注：一定要在配置类上加@Configuration注解！

新建MyBaseMapper接口，继承BaseMapper

import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import java.util.List;

public interface MyBaseMapper<T> extends BaseMapper<T> {

    /**
     * 批量插入 仅适用于mysql
     * @param entityList 实体列表
     */
    void insertBatchSomeColumn(List<T> entityList);
}

修改我们业务mapper接口，继承MyBaseMapper接口

import org.apache.ibatis.annotations.Mapper;

@Mapper
public interface UserMapper extends MyBaseMapper<User> {

}

最后一步：Service层的使用

@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements UserService {

    @Autowired
    private UserMapper userMapper;

    @Override
    @Transactional(rollbackFor = Exception.class)
    public void insertUsers(ArrayList<User> users) {
        userMapper.insertBatchSomeColumn(users);
    }
}