Java向数据库中插入大量数据时的优化

[url]http://home.searchfull.net:8080/2422914-java+%E6%95%B0%E6%8D%AE+%E5%BA%93%E4%B8%AD+.html[/url]

PreparedStatement ps = null;
for(int i = 0; i < 100000; i++) {

ps = con.prepareStatement(sql);
ps.executeUpdate();
}

以前处理大量数据时总是使用如上方法，处理速度相当慢。今天经理教了个新招。如下：



PreparedStatement ps = con.prepareStatement(sql);
for(int i = 0; i < 100000; i++) {
ps.setString(1, "1");
ps.setString(2, "2");
ps.addBatch();
}
ps.executeBatch();

这样执行的就是批操作。上传100000数据比我之前方法快了nnnnnnnnnnnn倍。得把之前写的都改掉。

-----------------------------
[url]http://762626559-qq-com.iteye.com/blog/392889[/url]

使用jdbc向数据库插入100000条记录，分别使用statement，PreparedStatement，及PreparedStatement+批处理3种方式进行测试：

//1.使用statement插入100000条记录



public void exec(Connection conn){

try {

Long beginTime = System.currentTimeMillis();

conn.setAutoCommit(false);//设置手动提交

Statement st = conn.createStatement();

for(int i=0;i<100000;i++){

String sql="insert into t1(id) values ("+i+")";

st.executeUpdate(sql);

}

Long endTime = System.currentTimeMillis();

System.out.println("st："+(endTime-beginTime)/1000+"秒");//计算时间

st.close();

conn.close();

} catch (SQLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

//2.使用PreparedStatement对象

public void exec2(Connection conn){

try {

Long beginTime = System.currentTimeMillis();

conn.setAutoCommit(false);//手动提交

PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)");

for(int i=0;i<100000;i++){

pst.setInt(1, i);

pst.execute();

}

conn.commit();

Long endTime = System.currentTimeMillis();

System.out.println("pst:"+(endTime-beginTime)/1000+"秒");//计算时间

pst.close();

conn.close();

} catch (SQLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

//3.使用PreparedStatement + 批处理

public void exec3(Connection conn){

try {

conn.setAutoCommit(false);

Long beginTime = System.currentTimeMillis();

PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)");



for(int i=1;i<=100000;i++){

pst.setInt(1, i);

pst.addBatch();

if(i%1000==0){//可以设置不同的大小；如50，100，500，1000等等

pst.executeBatch();

conn.commit();

pst.clearBatch();

}

}

Long endTime = System.currentTimeMillis();

System.out.println("pst+batch："+(endTime-beginTime)/1000+"秒");

pst.close();

conn.close();

} catch (SQLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

在Oracle 10g中测试，结果：

1.使用statement耗时142秒；

2.使用PreparedStatement耗时56秒；

3.使用PreparedStatement + 批处理耗时：

a.50条插入一次，耗时5秒；

b.100条插入一次，耗时2秒；

c.1000条以上插入一次，耗时1秒；

通过以上可以得出结论，在使用jdbc大批量插入数据时，明显使用第三种方式（PreparedStatement + 批处理）性能更优。