mybatis-plus批量插入太慢,如何优化?

​ 背景:前几天做项目的时候有一个Excel导入功能,有20w+数据,当时导入批量插入时间很慢,大概要将近半个小时,现在有时间了,我复现一下场景给大家优化一下!

  1. 先分析代码,得出结论
//测试批量插入
@Test
public void batchInsert() {
    ArrayList<User> users = new ArrayList<>();
    for (int i = 0; i < 50000; i++) {
        users.add(generateRandomUser());
    }
    long startTime = System.currentTimeMillis();
    userService.saveBatch(users);
    long endTime = System.currentTimeMillis();
    double totalTime = (endTime - startTime) / 1000.0;
    System.out.println("插入成功,耗时:" + String.format("%.5f", totalTime));
}
  • 这里的批量插入使用的是mybatisplus提供的saveBatch默认方法,大伙不妨停下脚步点进去看看:
    在这里插入图片描述

  • 其中关键方法是saveBatch,源码为:
    在这里插入图片描述

  • 我们启动服务后,debug一下该方法:
    在这里插入图片描述

可以看出这个所谓的批量插入接口,其实就是一个for循环插入,所以会对数据库产生很大的压力!(5万条数据耗时9.89900秒)

这就奇怪了哦,如果是我们自己,我们第一反应是不是应该这样批量

INSERT INTO test (a, b, c) VALUES
<foreach collection="list" item="item" separator=",">
    (#{item.a}, #{item.b}, #{item.c})
</foreach>
  1. 优化:
  • 第一步(无脑):先在配置文件数据库连接地址url最后上加rewriteBatchedStatements=true参数
  • 第二步:仔细阅读源码发现,他的CRUD方法其实都是实现了一个叫做AbstractMethod的类的,类继承如图

​ 其中我们看到有一个方法是InsertBatchSomeColumn,这个方法实际上就是我们手写的那种批量插入的功能的实现了,我们现在要做的是把这个方法注入到我们的工程中,并且替换掉之前的saveBatch方法:

  • 新增我们自己的SQL注入器,用来扩展批量插入:
import com.baomidou.mybatisplus.core.injector.AbstractMethod;
import com.baomidou.mybatisplus.core.injector.DefaultSqlInjector;
import com.baomidou.mybatisplus.core.metadata.TableInfo;
import com.baomidou.mybatisplus.extension.injector.methods.InsertBatchSomeColumn;

import java.util.List;

/**
 * @author lzw
 * @version 1.0
 * @date 2024/4/2 0:34
 */
public class MyInjector extends DefaultSqlInjector {

    @Override
    public List<AbstractMethod> getMethodList(Class<?> mapperClass, TableInfo tableInfo) {
        // 防止父类的方法不可使用
        List<AbstractMethod> methodList = super.getMethodList(mapperClass, tableInfo);
        // 添加批量插入的方法
        methodList.add(new InsertBatchSomeColumn());
        return methodList;
    }
}

注,因为mybatis-plus版本不一,有些版本getMethodList方法没有TableInfo tableInfo参数,直接去掉即可。

  • 然后我们将写好的Bean注入到Spring容器中:
@Bean
public MyInjector myInjector() {
	return new MyInjector();
}

注:一定要在配置类上加@Configuration注解!

  • 新建MyBaseMapper接口,继承BaseMapper
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import java.util.List;

public interface MyBaseMapper<T> extends BaseMapper<T> {

    /**
     * 批量插入 仅适用于mysql
     * @param entityList 实体列表
     */
    void insertBatchSomeColumn(List<T> entityList);
}
  • 修改我们业务mapper接口,继承MyBaseMapper接口
import org.apache.ibatis.annotations.Mapper;

@Mapper
public interface UserMapper extends MyBaseMapper<User> {

}
  • 最后一步:Service层的使用
@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements UserService {

    @Autowired
    private UserMapper userMapper;

    @Override
    @Transactional(rollbackFor = Exception.class)
    public void insertUsers(ArrayList<User> users) {
        userMapper.insertBatchSomeColumn(users);
    }
}
  • 启动测试类:大功告成,经过博主各环境测试,速度较原来提升在至少60%!!!

在这里插入图片描述

可以看到,打印出来的sql是一整个而不是一条一条插入的了
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值