JDBC批量处理数据之分段批量提交以及异常处理

首先来说批量处理数据的优点:

• 代码优化，提高程序执行性能

• 降低了java程序代码(客户端)和数据库之间的 网络通信的次数。

大数据量的插入问题:（jdbc,hibernate,ibatis）

1. 每次只插入一条和数据库交互多次(很耗时间)

2. 批量插入和数据库只交互一次(内存溢出)

解决办法：分段批量插入(推荐)

jdbc批量处理数据是通过PreparedStatement对象的 addbatch(), executebatch（） clearbatch()进行和数据库的交互。通常我们使用分段批量处理的方式 这样可以提高程序的性能 ，防止内存溢出。

1. 每个sql语句都和数据库交互一次(非批量操作)

2. 只和数据库交互一次(批量操作)(内存溢出)

当数据达到一定额度的时候就和数据库进行交互，分多次进行(分段批量操作)(500或者1000)

pst.addBatch();

if (i > 0 && i%1000 == 0) {

pst.executeBatch();

pst.clearBatch();

}

JDBC分段批量提交的时候出现异常怎么处理：

通过Map来解决性能问题。首先在分段批量提交的时候，我们不采用事务，这样就保证了合法的数据就自动提交，不合法的数据就自己自动进行回滚，为了避免不合法数据影响后续合法数据的提交，采用定义业务规则字典表，实现对数据的验证，将不合法的数据记录下来，供用户进行后续处理，而合法的数据就全部提交。

批量提交问题总结

思考1： 例如表单批量提交的时候，采用for循环遍历逐条更新，每个sql语句都和数据库交互一次，频繁连接、释放资源，性能很低！
解决1：
采用addbatch批量提交，这种方式可以在一次数据库连接中更新所有数据，避免了频繁数据库建立和断开连接的开销，可以很大程度的提高数据更新效率。

思考2： 上面的方法也会造成更新过程出错时，将很难知道具体是哪个数据出错？如果使用数据自身的事务保证，那么一旦出错，所有的更新将自动回滚。
解决2：
一次批量更新一部分（分页进行更新，比如说一共有1000条数据，一次更新100条，也就是分段批量提交。这样可以分担出错的概率，也更容易定位到出错的位置。

思考3： 分段批量提交的时候出现异常怎么处理？
解决3：
通过Map来解决性能问题。首先在分段批量提交的时候，我们不采用事务，这样就保证了合法的数据就自动提交，不合法的数据就自己自动进行回滚，为了避免不合法数据影响后续合法数据的提交，采用定义业务规则字典表，实现对数据的验证，将不合法的数据记录下来，供用户进行后续处理，而合法的数据就全部提交。