关于spring和mybatis集成后如何进行批处理总结

已于 2022-11-26 14:18:38 修改
阅读量1.2w 收藏 7
点赞数 3
分类专栏： aa 文章标签： spring 批处理 mybatis
于 2015-10-21 17:17:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qzc711/article/details/49307055
版权
本文分享了在实际运行中，针对Spring和Mybatis集成后如何进行批处理的经验，通过具体的insert语句展示了如何批量插入数据。
摘要由CSDN通过智能技术生成

网上百度一下，发现各种各样的版本，真的是各种试，现在就来分享一下我运行过程中是如何处理的吧

1、首先一种基本的批处理是采用union all  拼接sql,导致问题sql过长，耗时，性能不好，且达到一定量会超出sql长度限制，简单的批处理可以应付。
 

<insert id="insertMethodOne" parameterType="List">
 

insert into gdgk_test_user(id,name,password) (
 

<foreach collection="list" item="item" index="index" separator="union all">
 

select #{item.id,jdbcType=VARCHAR},#{item.name,jdbcType=VARCHAR},#{item.password,jdbcType=VARCHAR} from dual
 

</foreach>
 

)
 

</insert>
 

一般20字段以内的表新增，数据2000条以内可用，经过测试，但是，这个是非常重要，对于数据表字段中存在大数据如：CLOB类型，就不能使用这种批量新增方法。

 

2、采用dao层循环，得到sqlsession  统一commit，这种方式几乎可以应付你所有的情况
 

@A

                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  qzc711
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
Spring Boot整合Spring Batch，实现批处理

				
			

			

				

					03-06
				

			

		

		

			
				
Spring Boot整合Spring Batch的一个小例子，在网上发现这方面的资源比较少，特此将其上传供大家学习。

			
		

	



                

              
                



	

		

			

				
					
spring+mybatis 批量处理

				
			

			

				

					luoxiang183的专栏
				

				

					08-16
					
					540
					
				

			

		

		

			
				
1.在java逻辑类
   SqlSession 
batchSqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH, false);// 获取批量方式的sqlsession
  List records = new ArrayList();
MemberCardInfo record = new MemberCardIn

			
		

	



                


  
              

                


	

		

			

				
					
【MyBatis】mybatis-plus 批量插入 性能优化

				
			

			

				

					九师兄
				

				

					08-01
					
					1641
					
				

			

		

		

			
				
稍微总结下我粗略的对比（虽然粗略，但实验结果符合原理层面的理解），如果你想更准确地实验，可以使用JMH，并且测试更多组数（如 5000，10000等）的情况。批量保存方式数据量（条）耗时（ms）单条循环插入1000121011100059927mybatis-plus saveBatch(添加rewtire参数)10002589手动拼接sql10002275100055663jdbc executeBatch(添加rewtire参数)1000324。

			
		

	





	

		

			

				
					
springboot整合mybatis实现批处理

				
			

			

				

					qq_1757537040的博客
				

				

					11-25
					
					931
					
				

			

		

		

			
				
前提：整合配置请看springboot整合mybatis篇

1.在mapper接口中编写方法（参数为list集合）


/**
 * 批处理存储数据进入表
 */
Integer batchInsertTOrderItems(@Param("tOrderItemlist") List<TOrderItem> tOrderItemlist);


2.编写mapper.xml配置文件（注解也可以我这里就不多解释了）


<mapper namespace="com.quanzhan.map

			
		

	



		

			
		



	

		

			

				
					
MyBatis和Spring结合的批处理方案

				
			

			

				

					Davie_Bell的博客
				

				

					09-03
					
					967
					
				

			

		

		

			
				
MyBatis和Spring结合的批处理方案

参考网址：

http://www.mybatis.org/mybatis-dynamic-sql/docs/insert.html

https://blog.csdn.net/zxy_9264_ang/article/details/93844849

https://blog.csdn.net/artaganan8/article/detai...

			
		

	





	

		

			

				
					
MyBatis（11）MyBatis 如何执行批处理操作

				
			

			

				

					qq_43012298的博客
				

				

					06-29
					
					676
					
				

			

		

		

			
				
在MyBatis中，批处理操作是一种高效执行多条语句的方式，特别是当你需要在一个事务中插入、更新或删除多条记录时。批处理可以显著减少与数据库的交互次数，从而提高性能。

			
		

	





	

		

			

				
					
spring3和mybatis3的初始探索

				
			

			

				

					03-27
				

			

		

		

			
				
标题 "spring3和mybatis3的初始探索" 涉及到的是两个非常重要的Java开发框架——Spring和MyBatis的集成与应用。Spring是一个全面的后端开发框架，提供了依赖注入、AOP（面向切面编程）、MVC（模型-视图-控制器）等...

			
		

	





	

		

			

				
					
spring+mybatis+spark+mysql

				
			

			

				

					09-07
				

			

		

		

			
				
在本项目中，Spark可能被用于处理和分析存储在MySQL中的大量数据，进行实时或者批处理任务，例如数据分析、机器学习模型训练等。  MySQL是广泛使用的开源关系型数据库管理系统，以其稳定性、易用性和高性能著称。在...

			
		

	





	

		

			

				
					
基于Spring Boot和Spring Batch的批处理系统（Gringotts）.zip

					
最新发布

				
			

			

				

					09-13
				

			

		

		

			
				
Gringotts是一个基于Spring Boot和Spring Batch的批处理系统示例，用于处理文件处理、对账、清结算、订单批处理等场景。它提供了一个简单的spring boot系统构建示例，并展示了如何集成Spring Batch到Spring Boot中。...

			
		

	





	

		

			

				
					
SpringBatch+Spring+Mybatis+MySql (spring batch 使用jar)

				
			

			

				

					04-01
				

			

		

		

			
				
Spring Batch是一个轻量级的，完全面向Spring的批处理框架，可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础，使开发者更容易的访问和利用企业级服务。Spring Batch可以提供大量的，可重复的数据处理功能，包括日志记录/跟踪，事务管理，作业处理统计工作重新启动、跳过，和资源管理等重要功能。
       业务方案：
1、批处理定期提交。
2、并行批处理：并行处理工作。
3、企业消息驱动处理
4、大规模的并行处理
5、手动或是有计划的重启
6、局部处理：跳过记录（如：回滚）
      技术目标：
1、利用Spring编程模型：使程序员专注于业务处理，让Spring框架管理流程。
2、明确分离批处理的执行环境和应用。
3、提供核心的，共通的接口。
4、提供开箱即用（out of the box）的简单的默认的核心执行接口。
5、提供Spring框架中配置、自定义、和扩展服务。
6、所有存在的核心服务可以很容的被替换和扩展，不影响基础层。
7、提供一个简单的部署模式，利用Maven构建独立的Jar文件。

			
		

	





	

		

			

				
					
Mybatis如何执行批量操作？

				
			

			

				

					longzorg_cn的博客
				

				

					12-09
					
					1765
					
				

			

		

		

			
				
foreach元素的属性主要有 item，index，collection，open，separator，close。它是批量操作的核心标签，下面都是foreach在不同场景的应用和写法。Mybatis常会出现批量操作，如批量查询，批量插入，批量修改(replace into)。批量操作要比循环执行效率提升很多，这里对mybatis的批量操作做一个总结讲解。replace:会根据主键和唯一索引判断该记录是否存在，存在就删除在插入(修改)，不存在就插入(insert)。这是一个批量保存(插入或修改)的例子。

			
		

	





	

		

			

				
					
Mybatis批处理

				
			

			

				

					MostSnails的博客
				

				

					11-14
					
					7614
					
				

			

		

		

			
				
Mybatis批处理
第一种 单条SQL循环操作
1.Mapper.xml
```
<insert id="insert" parameterType="com.example.mybatisbatch.entity.OrderDetail">
    insert into order_detail values
    (#{order.id},#{order.name},#{order.phone},#{order.expressNo},#{order.productName},#{ord

			
		

	





	

		

			

				
					
kafka 高级应用 springboot2.1   (1)

				
			

			

				

					weixin_30894389的博客
				

				

					08-01
					
					419
					
				

			

		

		

			
				
官网：http://kafka.apache.org/21/documentation.html
依赖:

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot...

			
		

	





	

		

			

				
					
Spring+Mybatis批量处理数据

				
			

			

				

					lian_li的专栏
				

				

					04-22
					
					1554
					
				

			

		

		

			
				
常规的代码：
   public void insertAll(List siteRankList) {
        for (SiteRank info : siteRankList) {
            insert(info);
        }
    }


  数据数据量过大，效率比较低，因为PreparedStatement对象的冗余状态；


 

			
		

	





	

		

			

				
					
在 Spring Boot 中使用 MyBatis-Plus 进行批量操作数据

				
			

			

				

					qq_28068311的博客
				

				

					11-22
					
					1226
					
				

			

		

		

			
				
通过 MyBatis-Plus 提供的saveBatch和方法，我们可以非常方便地实现在 Spring Boot 项目中的批量操作数据。这些方法简化了 SQL 的编写，提高了开发效率，同时也遵循了 MyBatis-Plus 的约定大于配置的设计理念。在实际应用中，根据业务需求和数据量，选择合适的批量操作方法可以有效提高系统性能，减少数据库交互次数。希望本文能帮助你更好地利用 MyBatis-Plus 进行批量操作数据的开发。

			
		

	





	

		

			

				
					
Mybaties实现批处理

				
			

			

				

					不吃豆芽儿的博客
				

				

					05-15
					
					265
					
				

			

		

		

			
				
最近工作中遇到了批量处理的问题。在此打卡记录。

问题描述：参数是一个list,我需要用这个list里的数据当做条件去查询，一开始我才用的是循环，遍历出想要的参数去进行查询，这样功能虽然实现了，但是后来数据量加大，速度慢的劣势就显示出来了。

后来了解到批处理，就改善了一下这个方法，使用 mysql 中的IN函数


    <select id="getMenuListByListId" resultType="com.visionwill.yuankan5000.vo.MenuVo">
  

			
		

	





	

		

			

				
					
Mybatis的批量操作,在Spring中使用Mybatis的批量处理

				
			

			

				

					qq_43257103的博客
				

				

					06-16
					
					1215
					
				

			

		

		

			
				
//使用批量插入的方法向数据库中插入100条记录
@Test
public void testbatchsave2() throws IOException{
	
	SqlSessionFactory sqlSessionFactory = getSqlSessionFactory();
	SqlSession session = sqlSessionFactory.openSession(Exe...

			
		

	





	

		

			

				
					
Spring MyBatis 批量插入：foreach, Spring事务, ExecutorType.BATCH 实现解析

				
			

			

				

					
				

			

		

		

			
				
在Spring中，集成MyBatis实现批量插入数据是常见的需求，尤其在处理大量数据时能够显著提高效率。这里我们将详细探讨三种实现方式：`foreach`、Spring事务以及使用`ExecutorType.BATCH`。  1. Foreach方式  这种方法...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值