JDBC批处理

因业务需要，要对excel文档进行解析与入库，先期写的代码是使用poi解析一行入库一行

后续业务越来越多，解析的excel文档越发大，导入时间变得很长。

刚开始时是考虑使用异步的方式进行数据入库,后台收到了文件直接响应前端，然后开始进行文件的解析入库。，这里就涉及到一个用户体验的问题，因为用户角度看过去，文档已经上传完成。对应的，上传完成的东西应该已经可用。实际上..............

后来则采用了jdbc批处理来进行操作：

                  
                  Connection conn = null;
	          PreparedStatement ps = null;
		  //单次处理个数
		  int count = 1000;
	          try {
	              conn = JdbcUtils.getConnection();
	              String sql = "insert into user(name,age) values (?, ?) ";
	              ps = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS);
	              int i = 0;
	              for (Object object : list) {
	                  ps.setString(1, object.getName());
	                  ps.setInt(2, object.getAge());
	                  ps.addBatch();
	                  i++;
			  //防止列表sql太多，出现outOfMemory
	                  if(i==count){
				  //执行列表中的sql
	                	  ps.executeBatch();
				  //清空当前sql命令列表
	                	  ps.clearBatch();
	                	  i=0;
	                  }
	              }
	              if(list.size()<count){
	            	  ps.executeBatch();
                	  ps.clearBatch();
	              }
	          } finally {
	              关闭各种连接
	          }





时间变短，说明效果还是有的。
原理说明：
在大部分的应用当中，最耗时的操作应该是操作数据库（特殊不计），数据库操作中最耗时的是建立连接的过程。6000次的插入操作如果不做处理，需要做6000次的数据库连接操作。如果是批处理，则连接操作个数大大减小，自然速度变快