JDBC操作数据库性能优化小结

最近做了一个使用JDBC操作数据库的小项目,主要实现不同数据库的数据表之间数据复制功能.以下是一些关于性能方面的总结:

 

1. 进行SQL查询,当预期的结果集较大的时候,使用PreparedStatement.setFetchSize(FETCH_SIZE)或者Statement.setFetchSize(FETCH_SIZE),可以成百倍地增加性能,我自己设置的值是525

2. 当ResultSet很大的时候,而我们需要读取保存ResultSet里面的数据的时候,起初将所有的数据保存在List或者HashMap里,在进行多线程运行的时候,导致了Java heap space out of memory. 最终将数据逐行写入到CSV文件中,避免了性能问题

3. 在进行大量数据插入数据库的操作时,应该使用批量加入,一次执行的策略,代码如下:

Connection destCon = DBHelper.getDestDBCon();
destCon.setAutoCommit(false);
PreparedStatement pstmt = destCon.prepareStatement(insertSql.toString());
while ((line = br.readLine())!= null) {
				count ++;
				items = line.split(",");
				pstmt.setString(1. items[0]);
                                pstmt.setBigDecimal(2, new BigDecimal(items[1]))
				}
				pstmt.addBatch();
				if (count%BATCH_SIZE == 0 || count == insert_size){
					pstmt.executeBatch();
					destCon.commit();
					destCon.setAutoCommit(false);		
			    }
			}

 并且一次性批量提交的数目是有限制的,还需要分批提交. 这样做就能大幅度提高插入的速度.

实测30万条数据插入只需要14秒

在进行以上优化以后,在使用多线程的情况下,每个线程操作几十万条数据进行读取,存储,插入,不存在性能问题

 

本文出自"lijingshou"博客,转载请务必保留此出处http://lijingshou.iteye.com/blog/2076882

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值