SpringBoot整合Mybatis批量插入方式对比

最新推荐文章于 2023-08-29 09:02:38 发布
最新推荐文章于 2023-08-29 09:02:38 发布
阅读量3.8k 收藏 23
点赞数 8
分类专栏： 开发百宝箱系列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shaofengzong/article/details/120251881
版权

mysql spring boot mybatis

文章目录

一、前言

Mybatis批量插入的正确姿势到底是什么？在网上浏览了非常多的帖子，很多都是复制粘贴来的，内容基本都是在误导别人，几乎没有测试验证，如果照做的话，性能反而相对于单条几乎没有任何提升，实践才是检验真理的唯一标准。参差不齐的网络文章真的很让人生气，完全是对技术的不负责任。

二、正文

1.准备项目和测试数据表

SpringBoot项目的基本目录如下：
不再详细的介绍搭建项目了，项目的搭建要求是能够通过Mybatis对mysql数据库进行CRUD操作即可，其他功能不需要具备。主要重心放在批量插入方式的讨论与插入性能的对比测试。
在这里插入图片描述
application.yml：

server:
  port: 20100

spring:
  application:
    name: demo
  datasource:
    type: com.alibaba.druid.pool.DruidDataSource
    url: jdbc:mysql://localhost:3306/test?useSSL=false&&serverTimezone=UTC&setUnicode=true&characterEncoding=utf8&&nullCatalogMeansCurrent=true&&autoReconnect=true&&allowMultiQueries=true
    driver-class-name: com.mysql.jdbc.Driver
    username: root
    password: root

mybatis:
  mybatis.type-aliases-package: com.example.demo.entity
  mapper-locations: classpath:/mapper/**/*.xml
#  configuration:
#    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl

User实体类：

package com.example.demo.entity;

import lombok.Data;

import java.io.Serializable;
import java.util.Date;

/**
 * @Author: zongshaofeng
 * @Description:
 * @Date:Create：in 2021/9/12 11:52
 * @Modified By：
 */
@Data
public class User implements Serializable {
	
	private Integer id;
	private Date time;
	private String name;
	private String content;
}

UserMapper：

package com.example.demo.dao;

import com.example.demo.entity.User;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.annotations.Param;
import org.springframework.stereotype.Repository;

import java.util.List;

/**
 * @Author: zongshaofeng
 * @Description:
 * @Date:Create：in 2021/9/12 11:55
 * @Modified By：
 */
@Mapper
@Repository
public interface UserMapper {
	List<User> listUser();
	
	Boolean insertUser(@Param("user")User user);
	
	Boolean insertUserList(@Param("userList")List<User> userList);
	
}

UserMapper.xml：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.example.demo.dao.UserMapper">
    <insert id="insertUser">
        insert into user (time,name,content)
        values
        (
            #{user.time},#{user.name},#{user.content}
        )
    </insert>
    <insert id="insertUserList">
        insert into user (time,name,content)
        values
        <foreach collection="userList" item="user" index="index" separator=",">
            (#{user.time},#{user.name},#{user.content})
        </foreach>
    </insert>

    <select id="listUser" resultType="com.example.demo.entity.User">
        select * from user
    </select>
</mapper>

数据表建表语句：

CREATE TABLE `user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `time` datetime DEFAULT NULL,
  `name` varchar(255) DEFAULT NULL,
  `content` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=100001 DEFAULT CHARSET=utf8mb4;

2. 普通for循环，单条插入user表

这个是使用for循环，循环单条插入数据库，每一次循环伴随SqlSession的打开和关闭都是一个单独的事务提交，性能最差，这里使用这种方式来作为对比标准，看看批量的方式能够提高多少性能。

在测试类中编写测试方法如下：

@Test
	void insertForUser() {
		Instant start=Instant.now();
		try {
			int count = 10000;
			for (int i = 0; i < count; i++) {
				User user = new User();
				user.setTime(new Date());
				user.setName("单条插入" + i);
				user.setContent("这是通过for循环单条插入的一条记录");
				userMapper.insertUser(user);
			}
		} catch (Exception exception) {
			exception.printStackTrace();
		}
		System.out.println("***********************for循环单条写入总共用时："+ ChronoUnit.MILLIS.between(start,Instant.now()) +"毫秒***********************************");
	}

3. foreach，批量插入user表

这个是使用mapper.xml文件中foreach循环，批量插入数据库，其本质就是将所有的数据组成一条sql语句，在一次操作中发送给数据库进行执行。但是你以为这种方式就最佳实践了吗？sql语句的大小数据库是有限制的，mysql限制为1M啊，下面测试时会提到，如果一口气插入10万条数据试一下，不用10万，5万都会抛出语句过大异常。

在测试类中编写测试方法如下：

@Test
	void insertForeachUser() {
		Instant start=Instant.now();
		try {
			int count =10000;
			List<User> userList=new ArrayList<>();
			for (int i = 0; i < count; i++) {
				User user = new User();
				user.setTime(new Date());
				user.setName("批量插入" + i);
				user.setContent("这是通过foreach批量插入的一条记录");
				userList.add(user);
			}
			userMapper.insertUserList(userList);
		} catch (Exception exception) {
			exception.printStackTrace();
		}
		System.out.println("***********************foreach批量写入总共用时："+ ChronoUnit.MILLIS.between(start,Instant.now()) +"毫秒***********************************");
	}

4. ExecutorType.BATCH，批量插入user表

Mybatis内置的ExecutorType有3种，默认的是simple，该模式下它为每个语句的执行创建一个新的预处理语句，单条提交sql；而batch模式重复使用已经预处理的语句，并且批量执行所有更新语句，显然batch性能将更优。
上面这段话我复制的，所有帖子都会写这句话，真的性能将更优吗？？？放开Mybatis日志输出，可以发现batch模式下确实重复使用已经预处理的语句，只是将动态更新parameters，在最终的commit之前数据库中确实没有插入数据，但是性能与for循环一次次插入几乎没有变化，下面我都将进行测试，稍安勿躁。

在测试类中编写测试方法如下：
再次声明，下面的这个测试方法，是网上非常多的帖子给出的大幅度提高插入性能的batch方式采用的方法，我严重怀疑都是复制粘贴的。我类比过来的几乎没改动，等会测一测试试嘛！

@Test
	void insertBatchUserOne() {
		Instant start=Instant.now();
		SqlSession sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
		UserMapper mapper = sqlSession.getMapper(UserMapper.class);
		try {
			int count = 100000;
			for (int i = 0; i < count; i++) {
				User user = new User();
				user.setTime(new Date());
				user.setName("批量插入" + i);
				user.setContent("这是通过batch批量插入的一条记录");
				mapper.insertUser(user);
				if (i % 1000 == 0 || i == count - 1) {
					sqlSession.commit();
					sqlSession.clearCache();
				}
			}
		} catch (Exception exception) {
			sqlSession.rollback();
		} finally {
			sqlSession.close();
		}
		System.out.println("***********************batch总共用时："+ ChronoUnit.MILLIS.between(start,Instant.now()) +"毫秒***********************************");
	}

5. ExecutorType.BATCH，再结合foreach方式，批量插入user表

就是将3和4集合起来而已。

在测试类中编写测试方法如下：

@Test
	void insertBatchUserTwo() {
		Instant start=Instant.now();
		SqlSession sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
		UserMapper mapper = sqlSession.getMapper(UserMapper.class);
		try {
			int count = 10000;
			List<User> userList=new ArrayList<>();
			for (int i = 0; i < count; i++) {
				User user = new User();
				user.setTime(new Date());
				user.setName("批量插入" + i);
				user.setContent("这是通过batch+foreach批量插入的一条记录");
				userList.add(user);
				if (i % 1000 == 0 || i == count - 1) {
					mapper.insertUserList(userList);
					sqlSession.commit();
					sqlSession.clearCache();
					userList.clear();
				}
			}
		} catch (Exception exception) {
			sqlSession.rollback();
		} finally {
			sqlSession.close();
		}
		System.out.println("***********************batch+foreach总共用时："+ ChronoUnit.MILLIS.between(start,Instant.now()) +"毫秒***********************************");
	}

6. 运行测试，横向对比结果：

为了保证测试结果的相对准确性，同一种方法不同数据量的测试依次执行，比如for循环，先插入1000，记录时间，再次运行插入10000，记录时间，最终走完所有的情况后，数据库表中数据为111000条数据。然后在测试下一种方式时，首先truncate user，将表数据清零。

插入数据量for循环单条插入foreach批量插入单独batch批量插入batch+foreach批量插入
1000（1千）1498毫秒445毫秒976毫秒434毫秒
10000（1万）8390毫秒860毫秒6853毫秒810毫秒
100000（10万）67457毫秒Exception：Packet for query is too large57985毫秒4052毫秒
1000000（100万）652247毫秒测试无意义574642毫秒21676毫秒

三、总结

看到上述的测试结果，不言自明了吧，像网上大多数帖子说的那样，仅仅使用batch，性能比for循环一条条插入快不到哪里去，验证了那一句，不服跑个分？

单纯的foreach拼装sql语句有大小限制。

batch可以解决sql语句大小限制的问题，但就像阴晴圆圈、悲欢离合，一切事物都有两面性，batch也有其自身的缺点，这时候就有了那一句：不存在的完美，适合自己才是最好的。

最后，本文并没有描述任何理论的东西，如果感兴趣，请继续查阅资料学习吧。

是小宗啊？
关注
专栏目录
【SpringBoot】26、SpringBoot中整合MyBatis-Plus实现数据库操作
Asurplus
07-23 21万+
MyBatis 框架相信大家都用过，虽然 MyBatis 可以直接在 xml 中通过 SQL 语句操作数据库，很是灵活。但正其操作都要通过 SQL 语句进行，就必须写大量的 xml 文件，很是麻烦。于是 MyBatis-Plus 应运而生，作为 MyBatis 的增强工具，更是为我们开发效率得到了质的飞跃。 一、简介 1、MyBatis MyBatis 是一款优秀的持久层框架，它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的工作。MyBa
10-Java框架-SpringBoot整合MyBatis-Plus
码赛客1024的博客
09-27 1638
MyBatis-Plus相关内容：BaseMapper，Wrapper，自动填充，逻辑删除，生成id，分页等等。
springboot + mybatis 批量插入方法总结、问题及解决
鱿鱼的博客
07-02 1万+
第一种 XML里面定义好SQL void updateBatch(List<UserPermission> userPermission); <insert id="insertBatch" parameterType="java.util.List" > <selectKey keyProperty="id" order="BEFORE" ...
springboot和mybtais 多数据源使用BATCH方法进行批量新增
zhongzih的博客
01-14 1614
@Configuration @MapperScan(basePackages = "com.jumper.medical.nt.mapper", sqlSessionFactoryRef = "ntSessionFactory",sqlSessionTemplateRef="sqlSessionTemplateNt") public class NtDataSourceConfigurer { @Bean public SqlSessionFactory ntSessionFactory
MyBastis 三种批量插入方式的性能比较
芋道源码
10-14 559
点击上方“芋道源码”，选择“置顶公众号”技术文章第一时间送达！源码精品专栏 精尽 Dubbo 原理与源码 69 篇精尽 Netty 原理与源码 61 篇中文详细注释的开源...
MySQL数据库批量插入（Spring Boot+Mybatis）
Go for IT
12-11 2万+
1 项目需求从excel中读取几万条记录，存储到MySQL数据库中。因为内存中记录几万条，如果直接遍历所有记录，循环插入数据库，耗时太长，所以计划优化插入速度。目前可供选择的解决方案如下： mybatis的官方写法 利用mysql特性，拼写insert sql 利用spring的事务，直接执行插入操作 耗时从小到大：mysql特性，mybatis,等 参考：http://blog.csdn.net
springboot整合mybatis，批量插入数据
zhucheng325的博客
02-09 1666
批量插入在实际工作中使用的频率还是挺大的，最近写到了批量插入的接口，现在记录一下 具体步骤如下： 第一步：在mapper接口中编写方法 例如： void batchInsertToCarPolicy(@Param("list") List<CarPolicy> list); 第二步：在 ****Mapper.xml中写相应的sql执行 例如： <insert id="batchInsertToCarPolicy" parameterType="com.hauto.order.mode
springboot 集成的 mybatis 设置 executorType 为 batch模式
gzt19881123的专栏
02-12 1万+
springboot 集成的 mybatis 设置 executorType 为 batch模式 mybatis提供三种sql执行器，分别是SIMPLE（默认）、REUSE、BATCH。 SIMPLE（SimpleExecutor），相当于JDBC的stmt.execute(sql)； REUSE（ReuseExecutor），相当于JDBC重用一条sql，再通过stmt传入多项参数值，然后执行stmt.executeUpdate()或stmt.executeBatch()； BATCH（B.
SpringBoot整合Mybatis连接SQL Server 跨库批量插入
01-27
本篇将深入探讨如何在Spring Boot项目中整合Mybatis，实现对SQL Server数据库的跨库批量插入操作。 首先，我们需要在Spring Boot项目中引入相关的依赖。对于Mybatis的支持，我们需要添加Mybatis和其Spring Boot ...
springboot+mybatis整合clickhouse实现批量插入
qq_42813011的博客
05-23 6535
原始需求 使用定时任务，将用户的行为日志数据文件（.csv）解析为java对象，并落入clickhouse数据库（MySQL亦同理）。 行为日志包含：网站访问日志、文件上传日志、邮件往来等数据 具体方案： springboot+mybatis配置clickhouse openCSV解析.csv映射为java对象 spring的定时任务@Scheduled 一、OpenCSV、ClickHouse等相关maven依赖 <dependency> <groupId>com.o
SpringBatch+Spring+Mybatis+MySql (spring batch 使用jar)
04-01
Spring Batch是一个轻量级的，完全面向Spring的批处理框架，可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础，使开发者更容易的访问和利用企业级服务。Spring Batch可以提供大量的，可重复的数据处理功能，包括日志记录/跟踪，事务管理，作业处理统计工作重新启动、跳过，和资源管理等重要功能。 业务方案： 1、批处理定期提交。 2、并行批处理：并行处理工作。 3、企业消息驱动处理 4、大规模的并行处理 5、手动或是有计划的重启 6、局部处理：跳过记录（如：回滚） 技术目标： 1、利用Spring编程模型：使程序员专注于业务处理，让Spring框架管理流程。 2、明确分离批处理的执行环境和应用。 3、提供核心的，共通的接口。 4、提供开箱即用（out of the box）的简单的默认的核心执行接口。 5、提供Spring框架中配置、自定义、和扩展服务。 6、所有存在的核心服务可以很容的被替换和扩展，不影响基础层。 7、提供一个简单的部署模式，利用Maven构建独立的Jar文件。
Spring Boot整合Spring Batch，实现批处理
03-06
Spring Boot整合Spring Batch的一个小例子，在网上发现这方面的资源比较少，特此将其上传供大家学习。
SpringBoot整合MyBatis-Plus各种使用点超级详细
热门推荐
q736317048的博客
11-28 4万+
简介 MyBatis-Plus是一个Mybatis增强版工具，在MyBatis上扩充了其它功能没有改变基本功能，也就是只做封装增强不做改变，为了简化开发提交效率而存在，不需要写XML等sql语句就可实现 官方文档：https://mp.baomidou.com/guide/ 使用SpringBoot快速使用MyBatis-Plus Step1：准备工作 ​ 需要java开发环境（JDK）以及响应的开发工具（IDEA） ​ 需要maven（用来下载相关的jar包） ​ 使用Springboot整合Mybati
SpringBoot 高效批量插入万级数据，哪种方式最强？
最新发布
08-29 1957
准备工作1、Maven项目中pom.xml文件引入的相关依赖如下<dependencies> <!--SpringBootWeb模块依赖--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId...
Mybatis BATCH的批量导入
weixin_40598838的博客
12-16 1420
概述 项目使用的架构是SpringBoot和Mybatis plus，那么在上传Excel的时候，就会涉及到批量往数据库中写数据的情况，但是大多情况下，Mybatis plus实体Entity 和 Excel Entity是不同，这时候一般会选择用Apache的BeanUtils.copyProperties将Excel Entity转为Mybatis plus实体Entity，在调用Mybatis plus的saveBatch往数据库中写数据 List<Object> list = EasyE
Springboot模式下Mybatis的batch模式怎么写
筱进GG
07-03 405
文章链接：https://www.dianjilingqu.com/230083.html。
基于spring/springboot的mybatis批量更新 优点：没有条数限制，效率较高，底层还是mybatis的架构等
赫双炎
05-18 1684
这个类是一个bean，像普通的service一样注入到其他类里面就可以了。 import java.lang.reflect.Method; import java.util.HashMap; import java.util.List; import org.apache.ibatis.session.ExecutorType; import org.apache.ibatis.session.SqlSession; import org.apache.ibatis.session.defaults
Spring Boot 集成MyBatis
sxczlczsm的专栏
04-01 226
mybatis-spring-boot-starter依赖树如下：  其中mybatis使用的3.3.0版本，可以通过：  3.3.0属性修改默认版本。  mybatis-spring使用版本1.2.3，可以通过：  1.2.3修改默认版本。 在application.yml中增加配置： mybatis: mapperLocations: clas
整合spring boot + quartz + spring batch + mybatis
u010502101的博客
04-13 1万+
quartz负责定时，spring batch负责批量，mybatis负责持久化数据库，具体每个框架的介绍请参考其它文章，本节主要做spring boot + quartz + spring batch + mybatis的整合。 案例：指定距当前时间5s后，每隔3s时间执行一次批处理任务，批处理任务是读取数据库表记录并打印出来。 数据库采用DB2数据库，库表为users，记录为： ...
springboot+mybatis批量插入
08-18
在Spring Boot中使用MyBatis进行批量插入操作非常简单。下面是一个示例代码： 首先，确保你的Spring Boot项目中已经集成了MyBatis和相应的数据库驱动。接下来，你需要创建一个Mapper接口来定义批量插入的方法。假设你的实体类为User，可以创建一个名为UserMapper的接口，如下所示： ```java @Mapper public interface UserMapper { void batchInsert(List<User> userList); } ``` 然后，在你的Mapper XML文件中，编写对应的SQL语句。在这个例子中，我们使用MySQL数据库，可以使用INSERT INTO ... VALUES ...语句进行批量插入。如下所示： ```xml <insert id="batchInsert" parameterType="java.util.List"> INSERT INTO user (name, age) VALUES <foreach collection="list" item="item" separator=","> (#{item.name}, #{item.age}) </foreach> </insert> ``` 最后，在你的Service或Controller类中注入UserMapper，并调用batchInsert方法即可实现批量插入。例如： ```java @Service public class UserService { private final UserMapper userMapper; public UserService(UserMapper userMapper) { this.userMapper = userMapper; } public void batchInsert(List<User> userList) { userMapper.batchInsert(userList); } } ``` 这样，你就可以通过调用UserService的batchInsert方法来批量插入数据了。 希望以上信息能对你有所帮助！如果你有任何其他问题，请随时提问。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是小宗啊？

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值