插入大量数据速度慢的解决方法:批量插入

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Alice_qixin/article/details/78522700

场景:

项目需要导入案件2200条。其中导入的excel每个行案件的信息上包含大约15个联系方式。那么总的联系方式一共用30000条左右

这里优化之前的速度是16-20分钟之间。太慢了。找了好久优化的方法。最后确定了使用mysql批量插入的方法去进行插入操作


慢的原因及解决思路:

这里慢的原因是针对本项目:

插入方式为程序遍历循环逐条插入。在mysql上检测插入一条的速度在0.02s到0.04s之间。

所以逐条插入的速度是0.03*30000条的速度是15分钟左右。

所以逐条插入是没法优化的。然后去查询优化方式。发现用批量插入的方法可以提高很大速度。

将30000条数据的插入速度提升到1-2分钟左右


这里放一个测试demo例子:

用junit测试循环插入1000条数据的时间与用批量插入插入10000条使用的时间
1普通循环插入1000条数据的时间测试

	@Test
	public void insertCuiji() {
		 
		     List<Cuiji> list= new ArrayList<Cuiji>();
		     
		     Cuiji cuiji = new Cuiji();
		     cuiji.setBankcode("jylh");
		     cuiji.setCompanycode("qixin");
		     
		     for (int i = 0; i < 1000; i++) {
		    	  
		    	 cuijiMapper.insertSelectiveO(cuiji, "jylh");
			}
		     
		     
			
			
	}




执行速度是38s也就是0.038*1000的速度。比较慢了


2用批量插入插入10000条使用的时间

	@Test
	public void insertCuiji() {
		 
		     List<Cuiji> list= new ArrayList<Cuiji>();
		     for (int i = 0; i < 1000; i++) {
		    	 Cuiji cuiji = new Cuiji();
			     cuiji.setBankcode("jylh");
			     cuiji.setCompanycode("qixin");
			     list.add(cuiji);
		    	 
			}
		    cuijiMapper.insertListCuiji(list);
	}



批量插入使用了0.0356s 这相当于插入一条数据的速度,所以用批量插入会大大提升数据插入速度,当有较大数据插入操作是用批量插入优化


批量插入的写法:

dao定义层方法

Integer insertListCuiji(List<Cuiji> cuiji);

mybatis 的sql写法

<insert id="insertListCuiji" parameterType="java.util.List">
 	 INSERT INTO `case`.`t_cuiji`
			( `doccode`,
			  `companycode`,
			  `bankcode`,
			  `notes`,
			  `type`) 
		 values
		<foreach collection="list" item="item" separator="," index="index">
			(#{item.doccode},
			#{item.companycode},
			#{item.bankcode},
			#{item.notes},
			#{item.type})
		</foreach>

	</insert>

这样就能进行批量插入操作:

注:当批量操作数据量大的时候。例如我插入3w条数据要操作的数据包超过了1M会报 Mysql You can change this value on the server by setting the max_allowed_packet' variable. 异常 此时修改mysql的max_allowed_packet大小即可,详细解决方法请看:

http://blog.csdn.net/alice_qixin/article/details/78522600

或者将list分成几份去插入。


谢谢观看!

展开阅读全文

没有更多推荐了,返回首页