jdbc oracle 百万级数据量存储

使用jdbc连接oracle数据库进行百万级数据插入操作。

默认的插入操作 

insert into tablename()values()
每进行一条记录的插入都会进行commit提交操作,因此使得存储速度受到极大的影响,那么如何解决此类问题呢?

两种方法:

一、通过设置commit提交动作为非默认形式,然后设置每插入3000行(根据自己具体需求设定)进行一次提交

Class.forName("oracle.jdbc.driver.OracleDriver");
   conn = DriverManager.getConnection("jdbc: oracle:thin: @127.0.0.1:1521:abc", "scott", "tiger");
   conn.setAutoCommit(false);//设置默认提交方式为false
   stmt = conn.createStatement();
   state.execute(sql);
   conn.commit();//提交事务
二、按照批次进行插入,然后根据自己需求进行统一批次提交
Class.forName("oracle.jdbc.driver.OracleDriver");
conn = DriverManager.getConnection("jdbc: oracle:thin: @127.0.0.1:1521:abc", "scott", "tiger");
            state = conn.createStatement();
            for (String sql : sqlList)
            {
                state.addBatch(sql);
                if (++count % 1000 == 0)
                {
                    state.executeBatch();
                    System.out.println("现已完成"+count+"条记录插入");
                }
            }
            state.executeBatch();


归结起来其实两种方法原理是一样的,都是按照批次进行存储。大大提高了数据存储效率,此两种方法省略了事务提交失败回滚的操作,大家可以根据需要进行回滚操作。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值