插入大量数据速度慢的解决方法：批量插入

场景：

项目需要导入案件2200条。其中导入的excel每个行案件的信息上包含大约15个联系方式。那么总的联系方式一共用30000条左右

这里优化之前的速度是16-20分钟之间。太慢了。找了好久优化的方法。最后确定了使用mysql批量插入的方法去进行插入操作

慢的原因及解决思路：

这里慢的原因是针对本项目：

插入方式为程序遍历循环逐条插入。在mysql上检测插入一条的速度在0.02s到0.04s之间。

所以逐条插入的速度是0.03*30000条的速度是15分钟左右。

所以逐条插入是没法优化的。然后去查询优化方式。发现用批量插入的方法可以提高很大速度。

将30000条数据的插入速度提升到1-2分钟左右

这里放一个测试demo例子：

用junit测试循环插入1000条数据的时间与用批量插入插入10000条使用的时间
1普通循环插入1000条数据的时间测试

	@Test
	public void insertCuiji() {
		 
		     List<Cuiji> list= new ArrayList<Cuiji>();
		     
		     Cuiji cuiji = new Cuiji();
		     cuiji.setBankcode("jylh");
		     cuiji.setCompanycode("qixin");
		     
		     for (int i = 0; i < 1000; i++) {
		    	  
		    	 cuijiMapper.insertSelectiveO(cuiji, "jylh");
			}
		     
		     
			
			
	}

执行速度是38s也就是0.038*1000的速度。比较慢了

2用批量插入插入10000条使用的时间

	@Test
	public void insertCuiji() {
		 
		     List<Cuiji> list= new ArrayList<Cuiji>();
		     for (int i = 0; i < 1000; i++) {
		    	 Cuiji cuiji = new Cuiji();
			     cuiji.setBankcode("jylh");
			     cuiji.setCompanycode("qixin");
			     list.add(cuiji);
		    	 
			}
		    cuijiMapper.insertListCuiji(list);
	}

批量插入使用了0.0356s 这相当于插入一条数据的速度，所以用批量插入会大大提升数据插入速度，当有较大数据插入操作是用批量插入优化

批量插入的写法：

dao定义层方法

Integer insertListCuiji(List<Cuiji> cuiji);

mybatis 的sql写法

<insert id="insertListCuiji" parameterType="java.util.List">
 	 INSERT INTO `case`.`t_cuiji`
			( `doccode`,
			  `companycode`,
			  `bankcode`,
			  `notes`,
			  `type`) 
		 values
		<foreach collection="list" item="item" separator="," index="index">
			(#{item.doccode},
			#{item.companycode},
			#{item.bankcode},
			#{item.notes},
			#{item.type})
		</foreach>

	</insert>

这样就能进行批量插入操作：

注：当批量操作数据量大的时候。例如我插入3w条数据要操作的数据包超过了1M会报 Mysql You can change this value on the server by setting the max_allowed_packet' variable. 异常 此时修改mysql的max_allowed_packet大小即可，详细解决方法请看：

http://blog.csdn.net/alice_qixin/article/details/78522600

或者将list分成几份去插入。

谢谢观看！