用Java向数据库中插入大量数据时的优化

转载自：http://gooderlee.iteye.com/blog/1160949

使用jdbc向数据库插入100000条记录，分别使用statement，PreparedStatement，及PreparedStatement+批处理3种方式进行测试： 

public void exec(Connection conn){    
  try {    
   //开始时间   
   Long beginTime = System.currentTimeMillis();    
   //设置手动提交    
   conn.setAutoCommit(false);   
       
   Statement st = conn.createStatement();    
  
   for(int i=0;i<100000;i++){    
      String sql="insert into t1(id) values ("+i+")";    
      st.executeUpdate(sql);     
   }    
      
   //结束时间   
   Long endTime = System.currentTimeMillis();    
  
   System.out.println("st："+(endTime-beginTime)/1000+"秒");//计算时间    
  
   st.close();    
   conn.close();    
  } catch (SQLException e) {    
   e.printStackTrace();    
  }     
}   

//2.使用PreparedStatement对象 

public void exec2(Connection conn){    
  try {    
   Long beginTime = System.currentTimeMillis();    
   conn.setAutoCommit(false);//手动提交    
   PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)");    
   for(int i=0;i<100000;i++){    
    pst.setInt(1, i);    
    pst.execute();       
   }    
   conn.commit();    
   Long endTime = System.currentTimeMillis();    
   System.out.println("pst:"+(endTime-beginTime)/1000+"秒");//计算时间    
   pst.close();    
   conn.close();    
  } catch (SQLException e) {    
   e.printStackTrace();    
  }    
  
}   

//3.使用PreparedStatement + 批处理 

public void exec3(Connection conn){    
  try {    
   conn.setAutoCommit(false);    
   Long beginTime = System.currentTimeMillis();    
   //构造预处理statement   
   PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)");    
   //1万次循环   
   for(int i=1;i<=100000;i++){       
    pst.setInt(1, i);    
    pst.addBatch();    
    //每1000次提交一次   
    if(i%1000==0){//可以设置不同的大小；如50，100，500，1000等等    
     pst.executeBatch();    
     conn.commit();    
     pst.clearBatch();    
    }    
   }   
   Long endTime = System.currentTimeMillis();    
   System.out.println("pst+batch："+(endTime-beginTime)/1000+"秒");    
   pst.close();    
   conn.close();    
  } catch (SQLException e) {    
   e.printStackTrace();    
  }    
}   

在Oracle 10g中测试，结果： 
1.使用statement  耗时142秒； 
2.使用PreparedStatement 耗时56秒； 
3.使用PreparedStatement + 批处理耗时： 
   a.50条插入一次，耗时5秒； 
    b.100条插入一次，耗时2秒； 
    c.1000条以上插入一次，耗时1秒； 
通过以上可以得出结论，在使用jdbc大批量插入数据时，明显使用第三种方式（PreparedStatement + 批处理）性能更优。

-------------------------------------------------------------------------------------------------------------------------------

1. 普通方式处理大量数据的insert时，处理速度相当慢。   
2. */   
3. PreparedStatement ps = null;   
4. //循环10000次   
5. for(int i = 0; i < 100000; i++) {   
6.     ps = con.prepareStatement(sql);   
7.     ps.executeUpdate();   
8. }  

 

1. 方法二：通过addBatch()的方式，将数据缓存在对象里面，通过最后执行executeBatch();方法提交，因此速度会快很多！   
2. */   
3. PreparedStatement ps = con.prepareStatement(sql);   
4. for(int i = 0; i < 100000; i++) {   
5.     ps.setString(1, "1");   
6.     ps.setString(2, "2");   
7.     ps.addBatch();   
8. }   
9. ps.executeBatch();