Java向数据库中插入大量数据时的优化

转载 2012年03月29日 15:19:56
http://home.searchfull.net:8080/2422914-java+%E6%95%B0%E6%8D%AE+%E5%BA%93%E4%B8%AD+.html

PreparedStatement ps = null;
for(int i = 0; i < 100000; i++) {

    ps = con.prepareStatement(sql);
    ps.executeUpdate();
}

以前处理大量数据时总是使用如上方法,处理速度相当慢。今天经理教了个新招。如下:



PreparedStatement ps = con.prepareStatement(sql);
for(int i = 0; i < 100000; i++) {
    ps.setString(1, "1");
    ps.setString(2, "2");
    ps.addBatch();
}
ps.executeBatch();

这样执行的就是批操作。上传100000数据比我之前方法快了nnnnnnnnnnnn倍。得把之前写的都改掉。

-----------------------------
http://762626559-qq-com.iteye.com/blog/392889

使用jdbc向数据库插入100000条记录,分别使用statement,PreparedStatement,及PreparedStatement+批处理3种方式进行测试:

//1.使用statement插入100000条记录



public void exec(Connection conn){

  try {

   Long beginTime = System.currentTimeMillis();

   conn.setAutoCommit(false);//设置手动提交

   Statement st = conn.createStatement();

   for(int i=0;i<100000;i++){

    String sql="insert into t1(id) values ("+i+")";

    st.executeUpdate(sql); 

   }

   Long endTime = System.currentTimeMillis();

   System.out.println("st:"+(endTime-beginTime)/1000+"秒");//计算时间

   st.close();

   conn.close();

  } catch (SQLException e) {

   // TODO Auto-generated catch block

   e.printStackTrace();

  } 

}

//2.使用PreparedStatement对象

public void exec2(Connection conn){

  try {

   Long beginTime = System.currentTimeMillis();

   conn.setAutoCommit(false);//手动提交

   PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)");

   for(int i=0;i<100000;i++){

    pst.setInt(1, i);

    pst.execute();   

   }

   conn.commit();

   Long endTime = System.currentTimeMillis();

   System.out.println("pst:"+(endTime-beginTime)/1000+"秒");//计算时间

   pst.close();

   conn.close();

  } catch (SQLException e) {

   // TODO Auto-generated catch block

   e.printStackTrace();

  }

}

//3.使用PreparedStatement + 批处理

public void exec3(Connection conn){

  try {

   conn.setAutoCommit(false);

   Long beginTime = System.currentTimeMillis();

   PreparedStatement pst = conn.prepareStatement("insert into t1(id) values (?)");

  

   for(int i=1;i<=100000;i++){   

    pst.setInt(1, i);

    pst.addBatch();

    if(i%1000==0){//可以设置不同的大小;如50,100,500,1000等等

     pst.executeBatch();

     conn.commit();

     pst.clearBatch();

    }

   }

   Long endTime = System.currentTimeMillis();

   System.out.println("pst+batch:"+(endTime-beginTime)/1000+"秒");

   pst.close();

   conn.close();

  } catch (SQLException e) {

   // TODO Auto-generated catch block

   e.printStackTrace();

  }

}

在Oracle 10g中测试,结果:

1.使用statement耗时142秒;

2.使用PreparedStatement耗时56秒;

3.使用PreparedStatement + 批处理耗时:

a.50条插入一次,耗时5秒;

b.100条插入一次,耗时2秒;

c.1000条以上插入一次,耗时1秒;

通过以上可以得出结论,在使用jdbc大批量插入数据时,明显使用第三种方式(PreparedStatement + 批处理)性能更优。

相关文章推荐

数据库优化及提高大量数据的查询效率

对数据库优化的初级理解

c# 快速 将大量数据插入数据库

快速插入数据 主要思想是通过在客户端把数据都缓存在Table中,然后利用SqlBulkCopy一次性把Table中的数据插入到数据库...

java大量文件排序显示速度优化总结(数据库排序)

工作中要做一个读取某个文件夹下的所有文件并按文件修改时间倒序排序文件名分页显示在列表中的功能,其中文件名中包含文件修改的时间(like:core_csc_npp_20140121153526_1105...

java大量数据加载时resultSetType参数的设置 TYPE_FORWARD_ONLY

这两天的工作是将一1000万条数据库记录(10GB)加载到内存中,加载到500多万条记录的时候,就报了OOM(内存不足)。解决了所有外围问题后,再运行还是这个问题无法加载全部数据。仔细研究了之前从未碰...
  • 10km
  • 10km
  • 2015年12月25日 18:04
  • 745

解决Java从MySQL读取大量数据时卡在SocketInputStream.socketRead0的问题

今天晚上突然有个服务无法启动。这个服务在启动的时候会从数据库中加载一些数据。查看日志:有开始加载的日志,但没有完成加载的日志,判断问题是在加载数据时卡住。用top查看进程,发现CPU占用为0%。又怀疑...

解决Java从MySQL读取大量数据时卡…

今天晚上突然有个服务无法启动。这个服务在启动的时候会从数据库中加载一些数据。查看日志:有开始加载的日志,但没有完成加载的日志,判断问题是在加载数据时卡住。用top查看进程,发现CPU占用为0%。又怀疑...

提高插入大量数据时的运行效率

插入大量数据时 sql语句拼接的好处

C#Excel大量数据快速导入数据库

  • 2015年11月06日 16:16
  • 103KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Java向数据库中插入大量数据时的优化
举报原因:
原因补充:

(最多只允许输入30个字)