Mp--批量插入数据--优化

Mp–批量插入数据–优化

1.准备数据库表结构：

create table db_account
(
    id            int auto_increment
        primary key,
    username      varchar(255) null,
    email         varchar(255) null,
    password      varchar(255) null,
    role          varchar(255) null,
    register_time datetime     null,
    perms         varchar(100) null,
    constraint unique_email
        unique (email),
    constraint unique_username
        unique (username)
);

2.引入Mp依赖 springboot 版本为：3.2.5

<!-- mybatis plus -->
<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>mybatis-plus-boot-starter</artifactId>
    <version>3.5.5</version>
</dependency>

3.配置文件

spring:
  application:
    name: spring-test
  datasource:
    username: root
    password: root
    url: jdbc:mysql://localhost:3306/test?&rewriteBatchedStatements=true
    driver-class-name: com.mysql.cj.jdbc.Driver

测试批量插入

1.模拟数据

private DbAccount builderDbAccount(int i) {
    DbAccount dbAccount = new DbAccount();
    dbAccount.setUsername("user_" + i);
    dbAccount.setPassword("123");
    dbAccount.setEmail("123@" + i);
    dbAccount.setRegisterTime(LocalDateTime.now());
    return dbAccount;
}

1.原始的插入 直接执行10000次数据库操作 耗时：23079

@Test
@DisplayName("testAdd")
void testAdd() {
    long start = System.currentTimeMillis();
    for (int i = 0; i <= 10000; i++) {
        service.save(builderDbAccount(i));
    }
    long end = System.currentTimeMillis();
    System.out.println("耗时" + (end - start));
    // 耗时23079
}

2.使用Mp的批量插入 每次插入1000条插入十次 ，但没有开启数据库的 rewriteBatchedStatements=true 耗时：4260

@Test
@DisplayName("testAddBatch")
void testAddBatch() {
    // 批处理 每次向数据库插入1000 一共插入 100 次
    List<DbAccount> list = new ArrayList<>(1000);
    long start = System.currentTimeMillis();
    for (int i = 0; i <= 10000; i++) {
        list.add(builderDbAccount(i));
        if (i % 1000 == 0) {
            //     每1000条 插入一次
            service.saveBatch(list);
            list.clear();
        }
    }
    long end = System.currentTimeMillis();
    System.out.println("耗时" + (end - start));
//     耗时4260
}

3.使用Mp的批量插入 并且开启数据库的rewriteBatchedStatements=true 配置，耗时：854

@Test
@DisplayName("testAddBatch2")
void testAddBatch2() {
    // 开启mysql 数据库的 rewriteBatchedStatements=true  参数
    // 批处理 每次向数据库插入1000 一共插入 100 次
    List<DbAccount> list = new ArrayList<>(1000);
    long start = System.currentTimeMillis();
    for (int i = 0; i <= 10000; i++) {
        list.add(builderDbAccount(i));
        if (i % 1000 == 0) {
            //     每1000条 插入一次
            service.saveBatch(list);
            list.clear();
        }
    }
    long end = System.currentTimeMillis();
    System.out.println("耗时" + (end - start));
//     耗时854
}

总结：