JDBC addbatch批量处理数据时有最大值限制

最新推荐文章于 2023-03-11 13:04:32 发布
最新推荐文章于 2023-03-11 13:04:32 发布
阅读量469 收藏
点赞数
分类专栏： java程序 文章标签： JDBC Oracle Windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lixiamani1/article/details/83847821
版权
在用jdbc向数据灌入数据时，发现120000的数据每次只能灌入50000多条，其他的就没有了。
在oracle 9i(windows 2003),oracle 10g(RHEL 4)上试验证有相同的结果。

使用定量灌入的办法，每5W条定义为一个事务，进行提交，将120000数据循环灌入，成功。
对于批量的update,delete操作两样有5W条左右的记录数限制。
结论：jdbc批量数据处理的每个批次是有数量的限制的。
我在本地环境中测试的限制量为每批54464条，其他配置的机器没有试过。

以下是插入数据时的代码： 


ConnDB cd = new ConnDB();   
        Connection ct = null;   
        PreparedStatement pst = null;   
        ResultSet rs = null;   

        ct = cd.getConn();   

        String insertSql = "insert into mytable (name,age) values(?,?)";   

        System.out.println(insertSql);   
        try {      
            ct.setAutoCommit(false); // 开始事务   
            pst = ct.prepareStatement(insertSql);      
            for (int i = 0; i < 120000; i++) {   

                pst.setString(1, "name" + i);   
                pst.setInt(2, i);   
                pst.addBatch();   

                System.out.println(i);   
                //分段提交   
                if((i%50000==0&& i!=0)||i== (120000 -1)){   
                    pst.executeBatch();   
                    ct.commit();   
                    ct.setAutoCommit(false);// 开始事务   
                    pst = ct.prepareStatement(insertSql);   
                    System.out.println("------------>50000");   
                }   

            }   
            ct.commit();// 提交事务   




        } catch (SQLException e) {   

            try {   
                ct.rollback();   
            } catch (SQLException e1) {   

                e1.printStackTrace();   
            }   
            e.printStackTrace();   
        } catch (RuntimeException e) {   
            try {   
                ct.rollback();   
            } catch (SQLException e1) {   

                e1.printStackTrace();   
            }   

        } finally {   
　　　　　　　　　　cd.close(ct, pst, rs);   
        }   

    }  

ConnDB cd = new ConnDB();
		Connection ct = null;
		PreparedStatement pst = null;
		ResultSet rs = null;

		ct = cd.getConn();

		String insertSql = "insert into mytable (name,age) values(?,?)";

		System.out.println(insertSql);
		try {	
			ct.setAutoCommit(false); // 开始事务
			pst = ct.prepareStatement(insertSql);	
			for (int i = 0; i < 120000; i++) {

				pst.setString(1, "name" + i);
				pst.setInt(2, i);
				pst.addBatch();

				System.out.println(i);
				//分段提交
				if((i%50000==0&& i!=0)||i== (120000 -1)){
					pst.executeBatch();
					ct.commit();
					ct.setAutoCommit(false);// 开始事务
					pst = ct.prepareStatement(insertSql);
					System.out.println("------------>50000");
				}

			}
			ct.commit();// 提交事务




		} catch (SQLException e) {

			try {
				ct.rollback();
			} catch (SQLException e1) {

				e1.printStackTrace();
			}
			e.printStackTrace();
		} catch (RuntimeException e) {
			try {
				ct.rollback();
			} catch (SQLException e1) {

				e1.printStackTrace();
			}

		} finally {
　　　　　　　　　　cd.close(ct, pst, rs);
		}

	}


以下是删除数据时的代码： 


ConnDB cd = new ConnDB();   
Connection ct = null;   
PreparedStatement pst = null;   
ResultSet rs = null;   

ct = cd.getConn();   

String deleteSql = "delete from mytable t where t.name=?";   

System.out.println(deleteSql);   

int[] intArray = new int[120000];   

try {   
    ct.setAutoCommit(false); // 开始事务   
    pst = ct.prepareStatement(deleteSql);   
    for (int i = 0; i < 120000; i++) {   

        pst.setString(1, "name" + i);   
        pst.addBatch();   

        System.out.println(i);   
        // 分段提交   
        if ((i % 50000 == 0 && i != 0) || i == (120000 - 1)) {   
            intArray = pst.executeBatch();   
            ct.commit();   
            ct.setAutoCommit(false);// 开始事务   
            pst = ct.prepareStatement(deleteSql);   
            System.out.println("------------>50000");   

        }   

    }   

    ct.commit();// 提交事务   

} catch (SQLException e) {   

    try {   
        ct.rollback();   
    } catch (SQLException e1) {   

        e1.printStackTrace();   
    }   
    e.printStackTrace();   
} catch (RuntimeException e) {   
    try {   
        ct.rollback();   
    } catch (SQLException e1) {   

        e1.printStackTrace();   
    }   

} finally {   
    cd.close(ct, pst, rs);   
}   

		ConnDB cd = new ConnDB();
		Connection ct = null;
		PreparedStatement pst = null;
		ResultSet rs = null;

		ct = cd.getConn();

		String deleteSql = "delete from mytable t where t.name=?";

		System.out.println(deleteSql);

		int[] intArray = new int[120000];

		try {
			ct.setAutoCommit(false); // 开始事务
			pst = ct.prepareStatement(deleteSql);
			for (int i = 0; i < 120000; i++) {

				pst.setString(1, "name" + i);
				pst.addBatch();

				System.out.println(i);
				// 分段提交
				if ((i % 50000 == 0 && i != 0) || i == (120000 - 1)) {
					intArray = pst.executeBatch();
					ct.commit();
					ct.setAutoCommit(false);// 开始事务
					pst = ct.prepareStatement(deleteSql);
					System.out.println("------------>50000");

				}

			}

			ct.commit();// 提交事务

		} catch (SQLException e) {

			try {
				ct.rollback();
			} catch (SQLException e1) {

				e1.printStackTrace();
			}
			e.printStackTrace();
		} catch (RuntimeException e) {
			try {
				ct.rollback();
			} catch (SQLException e1) {

				e1.printStackTrace();
			}

		} finally {
			cd.close(ct, pst, rs);
		}

	}


以下是更新数据的代码： 

ConnDB cd = new ConnDB();   
        Connection ct = null;   
        PreparedStatement pst = null;   
        ResultSet rs = null;   

        ct = cd.getConn();   
        String deleteSql = "update  mytable t set t.age =20 where t.name=?";   

        System.out.println(deleteSql);   

        int[] intArray = new int[120000];   

        try {   
            ct.setAutoCommit(false); // 开始事务   
            pst = ct.prepareStatement(deleteSql);   
            for (int i = 0; i < 120000; i++) {   

                pst.setString(1, "name"+i);   
                pst.addBatch();   

                System.out.println(i);   
                // 分段提交   
                if ((i % 50000 == 0 && i != 0) || i == (120000 - 1)) {   
                    intArray = pst.executeBatch();   
                    ct.commit();   
                    ct.setAutoCommit(false);// 开始事务   
                    pst = ct.prepareStatement(deleteSql);   
                    System.out.println("------------>50000");   

                }   

            }   

            ct.commit();// 提交事务   

        } catch (SQLException e) {   

            try {   
                ct.rollback();   
            } catch (SQLException e1) {   

                e1.printStackTrace();   
            }   
            e.printStackTrace();   
        } catch (RuntimeException e) {   
            try {   
                ct.rollback();   
            } catch (SQLException e1) {   

                e1.printStackTrace();   
            }   

        } finally {   
            cd.close(ct, pst, rs);   
        }   

    }
lixiamani1
关注
专栏目录
JDBC批量操作数据库数据的内存限制
Amkio的专栏
10-10 1272
通常，我们在操作数据库添加、删除 java 操作数据库，如果使用batch执行insert\update\delete时，字符串String最大长度为16kb 如果单独使用insert\update\delete时，没有该限制。 考虑到原因是因为批理执行的原理，是将待提交的数据先暂时存在内存中，所以jdbc对单次内存做了限制， 批次处理，其实就是把要提交的数据拼接成一
JDBC-批量操作的行数限制
卫国的专栏
02-20 4235
1  任务前提  我之前有一个任务，写一段JDBC程序，实现两个不同系统中人员信息的同步，简单说明一下，一个系统中人员表 ASYSEMPTable中7万条数据，通过程序的方法 把这7万数据读出到一个data集合对象中，然后通过这个对象把数据批量插入到另一个系统中人员表empInfo中去。 2 原来的做法和问题   PreparedStatement smst = null;   try
使用spring jdbc的batchUpdate功能提高性能
JEECG官方博客
06-06 1万+
在spring batch中，我们经常使用spring提供的jdbcTemplate进行数据库操作。    假设有一张表People.我们需要插入多条数据。处理的方法有两种：    第一种方法是对每一个数据，都执行一直insert命令：jdbcTemplate.update(INSERT_PEOPLE_QUERY, people.getFirstName(), people.getLastName
单线程和多线程连接mysql_JDBC连接数据库：单线程、多线程、批处理插入数据的对比...
weixin_35949857的博客
01-20 623
一、单线程(单条循环)插入50000条记录：每执行一次就要访问一次数据库import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class Test {public ...
关于jdbc批量操作(addBatch, executeBatch)的测试
热门推荐
zhangw1236的博客
01-17 2万+
由于项目上有大批量数据插入和更新的操作，所以使用了jdbc的批量操作功能。在此之前参考了很多文章包括jdbc的手册(https://www.tutorialspoint.com/jdbc/jdbc-batch-processing.htm)，有说需要使用事务的，也有的文章没有使用事务，试了很久，发现代码一直没有按照期望的执行，还是逐条操作数据库。后来在偶然间看到了文章提到需要设置rewriteBa
JDBC的批量处理数据
06-08
通过合理利用JDBC的批量处理功能，开发者可以优化数据操作的性能，特别是在处理大数据量时，能有效减少数据库的负担，提高系统的整体响应速度。因此，理解和掌握批量处理是每个Java数据库开发者必备的技能之一。
Java - JDBC批量插入原理
最新发布
xxxzzzqqq_的博客
03-11 228
本实验将通过以下三步进行a. 记录jdbc在mysql中批量执行和单条执行的耗时b. 记录jdbc在oracle中批量执行和单条执行的耗时c. 记录oracle plsql批量执行和单条执行的耗时相关java和数据库版本如下：Java17，Mysql8，Oracle11Gmysql的批量执行就是改写sql。oracle的批量执行就是用的forall。选择一个合适批量值。
JDBC中针对数据的批量操作
只为那一份执着
09-14 1281
这个话题已经很老了，看见这篇文章写的不错，转来用用 一、使用Statement而不是PreparedStatement对象 JDBC驱动的最佳化是基于使用的是什么功能. 选择PreparedStatement还是Statement取决于你要怎么使用它们. 对于只执行一次的
Java向mysql批量存储数据_java批量插入数据进数据库中
weixin_42153801的博客
01-27 1693
方式1：for循环，每一次进行一次插入数据。方式2：jdbc的preparedStatement的batch操作PreparedStatement.addBatch();......PreparedStatement.executeBatch();一次最多不要超过50条:1.因为当你插入的时候数据库已经锁定，然而如果你一次性插入太多会造成其他业务的等待。2.会造成内存的溢出方式2的本质是：ins...
Oracle addBatch()用法实例详解
09-09
主要介绍了Oracle addBatch()用法实例详解的相关资料,这里提供实例帮助大家掌握理解这部分知识，需要的朋友可以参考下
Java的jdbc使用addBatch进行批处理操作的几种方式
Touatou的博客
04-11 1752
原文网址：https://blog.csdn.net/zkcharge/article/details/50855755方式一、批量执行预定义模式的SQL[java] view plain copypublic static void exeBatch(Connection conn) {     try {             String sql = "insert into t_exam...
Oracle批量插入1到1千万数据
Stephen.G
02-28 9813
需求：往表 A 中的某个字段插入1-10000000. 可以想见，应该是用存储过程，循环插入。另，可以每10000条提交一次。 代码： CREATE OR REPLACE PROCEDURE p_insert_part IS --批量提交参数 num NUMBER; begin num := 0; for i in 1 .. 10000000 loop
JDBC使用addBatch一次插入 万条数据
bdk82924
09-22 598
public class Conn { public static void main(String[] args) throws SQLException { Connection conn = getConnection(); show(conn); // addBatch(con); conn....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值