JDBC addbatch批量处理数据时有最大值限制

最新推荐文章于 2023-03-11 13:04:32 发布

EthanQ

最新推荐文章于 2023-03-11 13:04:32 发布

阅读量8.3k

点赞数

分类专栏： J2EE 文章标签： jdbc null string delete oracle insert

J2EE 专栏收录该内容

43 篇文章 0 订阅

订阅专栏

在用jdbc向数据灌入数据时，发现120000的数据每次只能灌入50000多条，其他的就没有了。
在oracle 9i(windows 2003),oracle 10g(RHEL 4)上试验证有相同的结果。

使用定量灌入的办法，每5W条定义为一个事务，进行提交，将120000数据循环灌入，成功。
对于批量的update,delete操作两样有5W条左右的记录数限制。
结论：jdbc批量数据处理的每个批次是有数量的限制的。
我在本地环境中测试的限制量为每批54464条，其他配置的机器没有试过。

以下是插入数据时的代码：

ConnDB cd = new ConnDB();  
        Connection ct = null;  
        PreparedStatement pst = null;  
        ResultSet rs = null;  
  
        ct = cd.getConn();  
  
        String insertSql = "insert into mytable (name,age) values(?,?)";  
  
        System.out.println(insertSql);  
        try {     
            ct.setAutoCommit(false); // 开始事务  
            pst = ct.prepareStatement(insertSql);     
            for (int i = 0; i < 120000; i++) {  
              
                pst.setString(1, "name" + i);  
                pst.setInt(2, i);  
                pst.addBatch();  
                  
                System.out.println(i);  
                //分段提交  
                if((i%50000==0&& i!=0)||i== (120000 -1)){  
                    pst.executeBatch();  
                    ct.commit();  
                    ct.setAutoCommit(false);// 开始事务  
                    pst = ct.prepareStatement(insertSql);  
                    System.out.println("------------>50000");  
                }  
                  
            }  
            ct.commit();// 提交事务  
  
              
  
  
        } catch (SQLException e) {  
  
            try {  
                ct.rollback();  
            } catch (SQLException e1) {  
  
                e1.printStackTrace();  
            }  
            e.printStackTrace();  
        } catch (RuntimeException e) {  
            try {  
                ct.rollback();  
            } catch (SQLException e1) {  
  
                e1.printStackTrace();  
            }  
  
        } finally {  
　　　　　　　　　　cd.close(ct, pst, rs);  
        }  
          
    }

以下是删除数据时的代码：

ConnDB cd = new ConnDB();  
Connection ct = null;  
PreparedStatement pst = null;  
ResultSet rs = null;  
  
ct = cd.getConn();  
  
String deleteSql = "delete from mytable t where t.name=?";  
  
System.out.println(deleteSql);  
  
int[] intArray = new int[120000];  
  
try {  
    ct.setAutoCommit(false); // 开始事务  
    pst = ct.prepareStatement(deleteSql);  
    for (int i = 0; i < 120000; i++) {  
  
        pst.setString(1, "name" + i);  
        pst.addBatch();  
  
        System.out.println(i);  
        // 分段提交  
        if ((i % 50000 == 0 && i != 0) || i == (120000 - 1)) {  
            intArray = pst.executeBatch();  
            ct.commit();  
            ct.setAutoCommit(false);// 开始事务  
            pst = ct.prepareStatement(deleteSql);  
            System.out.println("------------>50000");  
  
        }  
  
    }  
  
    ct.commit();// 提交事务  
  
} catch (SQLException e) {  
  
    try {  
        ct.rollback();  
    } catch (SQLException e1) {  
  
        e1.printStackTrace();  
    }  
    e.printStackTrace();  
} catch (RuntimeException e) {  
    try {  
        ct.rollback();  
    } catch (SQLException e1) {  
  
        e1.printStackTrace();  
    }  
  
} finally {  
    cd.close(ct, pst, rs);  
}

以下是更新数据的代码：

ConnDB cd = new ConnDB();  
        Connection ct = null;  
        PreparedStatement pst = null;  
        ResultSet rs = null;  
  
        ct = cd.getConn();  
        String deleteSql = "update  mytable t set t.age =20 where t.name=?";  
  
        System.out.println(deleteSql);  
  
        int[] intArray = new int[120000];  
  
        try {  
            ct.setAutoCommit(false); // 开始事务  
            pst = ct.prepareStatement(deleteSql);  
            for (int i = 0; i < 120000; i++) {  
  
                pst.setString(1, "name"+i);  
                pst.addBatch();  
  
                System.out.println(i);  
                // 分段提交  
                if ((i % 50000 == 0 && i != 0) || i == (120000 - 1)) {  
                    intArray = pst.executeBatch();  
                    ct.commit();  
                    ct.setAutoCommit(false);// 开始事务  
                    pst = ct.prepareStatement(deleteSql);  
                    System.out.println("------------>50000");  
  
                }  
  
            }  
  
            ct.commit();// 提交事务  
  
        } catch (SQLException e) {  
  
            try {  
                ct.rollback();  
            } catch (SQLException e1) {  
  
                e1.printStackTrace();  
            }  
            e.printStackTrace();  
        } catch (RuntimeException e) {  
            try {  
                ct.rollback();  
            } catch (SQLException e1) {  
  
                e1.printStackTrace();  
            }  
  
        } finally {  
            cd.close(ct, pst, rs);  
        }  
  
    }

摘自： http://yangyiqian.iteye.com/blog/557776