插入数据是一项很简单的操作,但一旦提高了数据量,就变得不那么容易。
最近项目中使用SSH+oracle数据库,使用C3P0连接池,要求当执行某动作时在2表中各插入一万条数据。于是就采用了jdbc的方式插入。
先获取一个sequence,再将数据插入到数据库中。一测试时间,崩溃了,用时近3分钟(其中获取两个表的sequence很费时),后来想想以前曾经做过一个类似的项目,使用了主键自增的策略,就将主键改为自增了。再次测试,还可以,不到3秒。将此代码记录下来,以便日后参考。
顺便说说,可以使用存储过程(尤其是操作多个表插数据),这样效率更快些。
表就省略了,下面是sequence:
这个就是oracle实现自增的触发器了,TB_ID是表中得主键:
下面是数据交换层的代码:
最近项目中使用SSH+oracle数据库,使用C3P0连接池,要求当执行某动作时在2表中各插入一万条数据。于是就采用了jdbc的方式插入。
先获取一个sequence,再将数据插入到数据库中。一测试时间,崩溃了,用时近3分钟(其中获取两个表的sequence很费时),后来想想以前曾经做过一个类似的项目,使用了主键自增的策略,就将主键改为自增了。再次测试,还可以,不到3秒。将此代码记录下来,以便日后参考。
顺便说说,可以使用存储过程(尤其是操作多个表插数据),这样效率更快些。
表就省略了,下面是sequence:
create sequence SEQ_TEST
minvalue 1
maxvalue 999999999999999999999999999
start with 126661
increment by 1
cache 20;
这个就是oracle实现自增的触发器了,TB_ID是表中得主键:
create or replace trigger TRI_TEST
before insert on tb_ticket_log
for each row
declare
begin
select SEQ_TEST.Nextval into:new.TB_ID from dual;
end TRI_TEST;
下面是数据交换层的代码:
public void save(final List list)
throws HibernateException, SQLException {
this.getHibernateTemplate().execute(new HibernateCallback() {
public Object doInHibernate(Session session)
throws HibernateException, SQLException {
Connection conn = session.connection();
PreparedStatement ps = null;
PreparedStatement _ps = null;
String sql = "INSERT INTO TB1(column,...) VALUES (?,...)";
String _sql = "INSERT INTO TB2(column,...) VALUES(?,...)";
ps = conn.prepareStatement(sql);
_ps = conn.prepareStatement(_sql);
for (int i = 0; i < list.size(); i++) {
ps.setString(1, "");
//ps.set...
ps.addBatch();
_ps.setString(1, "");
//_ps.set...
_ps.addBatch();
// 每一万次执行并清除session,否则你懂的。
if (i % 10000 == 0) {
ps.executeBatch();
_ps.executeBatch();
session.flush();
session.close();
}
}
ps.executeBatch();
_ps.executeBatch();
ps.close();
_ps.close();
session.flush();
session.close();
return null;
}
});
}