关闭

Java向数据库中插入大量数据时的优化

标签: 数据库javainsertjdbcsql测试
223人阅读 评论(0) 收藏 举报
分类:
http://home.searchfull.net:8080/2422914-java+%E6%95%B0%E6%8D%AE+%E5%BA%93%E4%B8%AD+.html

PreparedStatement ps = null;
for(int i = 0; i < 100000; i++) {

    ps = con.prepareStatement(sql);
    ps.executeUpdate();
}

以前处理大量数据时总是使用如上方法,处理速度相当慢。今天经理教了个新招。如下:



PreparedStatement ps = con.prepareStatement(sql);
for(int i = 0; i < 100000; i++) {
    ps.setString(1, "1");
    ps.setString(2, "2");
    ps.addBatch();
}
ps.executeBatch();

这样执行的就是批操作。上传100000数据比我之前方法快了nnnnnnnnnnnn倍。得把之前写的都改掉。

-----------------------------
http://762626559-qq-com.iteye.com/blog/392889

使用jdbc向数据库插入100000条记录,分别使用statement,PreparedStatement,及PreparedStatement+批处理3种方式进行测试:

//1.使用statement插入100000条记录



public void exec(Connection conn){

  try {

   Long beginTime = System.currentTimeMillis();

   conn.setAutoCommit(false);//设置手动提交

   Statement st = conn.createStatement();

   for(int i=0;i<100000;i++){

    String sql="insert into t1(id) values ("+i+")";

    st.executeUpdate(sql); 

   }

   Long endTime = System.currentTimeMillis();

   System.out.println("st:"+(endTime-beginTime)/1000+"秒");//计算时间

   st.close();

   conn.close();

  } catch (SQLException e) {

   // TODO Auto-generated catch block

   e.printStackTrace();

  } 

}

//2.使用PreparedStatement对象

public void exec2(Connection conn){

  try {

   Long beginTime = System.currentTimeMillis();

   conn.setAutoCommit(false);//手动提交

   PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)");

   for(int i=0;i<100000;i++){

    pst.setInt(1, i);

    pst.execute();   

   }

   conn.commit();

   Long endTime = System.currentTimeMillis();

   System.out.println("pst:"+(endTime-beginTime)/1000+"秒");//计算时间

   pst.close();

   conn.close();

  } catch (SQLException e) {

   // TODO Auto-generated catch block

   e.printStackTrace();

  }

}

//3.使用PreparedStatement + 批处理

public void exec3(Connection conn){

  try {

   conn.setAutoCommit(false);

   Long beginTime = System.currentTimeMillis();

   PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)");

  

   for(int i=1;i<=100000;i++){   

    pst.setInt(1, i);

    pst.addBatch();

    if(i%1000==0){//可以设置不同的大小;如50,100,500,1000等等

     pst.executeBatch();

     conn.commit();

     pst.clearBatch();

    }

   }

   Long endTime = System.currentTimeMillis();

   System.out.println("pst+batch:"+(endTime-beginTime)/1000+"秒");

   pst.close();

   conn.close();

  } catch (SQLException e) {

   // TODO Auto-generated catch block

   e.printStackTrace();

  }

}

在Oracle 10g中测试,结果:

1.使用statement耗时142秒;

2.使用PreparedStatement耗时56秒;

3.使用PreparedStatement + 批处理耗时:

a.50条插入一次,耗时5秒;

b.100条插入一次,耗时2秒;

c.1000条以上插入一次,耗时1秒;

通过以上可以得出结论,在使用jdbc大批量插入数据时,明显使用第三种方式(PreparedStatement + 批处理)性能更优。
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:73054次
    • 积分:1150
    • 等级:
    • 排名:千里之外
    • 原创:26篇
    • 转载:105篇
    • 译文:0篇
    • 评论:11条
    文章分类