在处理百万级的数据时,经常需要对数据库中的数据进行增删改查操作,由于数据量大,进行Query的时候在效率上还是可以接受,但进行增删改的时候,如果采用一次一条记录操作,则效率大大的降低,因此,需要进行批量操作。
本文利用java在eclipse环境下连接mysql数据库进行批量操作。
操作原理很简单,主要利用Betch函数,进行批量操作。
Connection conn = DriverManager.getConnection(url,name,password);
//以下为增删改的sql语句样式
String add = "insert into "+tablename + " values(?,?,?,?,?)"";
String delete ="delete from tablename where id = ?";
String update = "update tablename set attribute1 = ? where attribute2 = ? ";
//创建连接池,以add语句为例
PreparedStatement ps = conn.prepareStatement(add);
//关闭连接的自动提交
conn.setAutoCommit(false);
//循环语句中将操作加入到betch中
while(){
ps.setString(1, str[0]);
ps.setString(2, str[1]);
ps.setString(3, str[2]);
……
//完成一条语句的赋值
ps.addBetch();
}
//执行批量操作(如果需要设置以1000条为单位插入一次,可以利用计算器在1000条的时候选择执行ps.executeBetch()函数
ps.executeBetch();
//提交事务
conn.commit();
原理解释:使用betch实际上是把多条sql语句合并成一条multi value的sql语句,例如生成的add语句为insert tablename values (v1,v2,v3,v4,v5),(v1,v2,v3,v4,v5)……,从而减少了网络延迟时间以及磁盘io时间,极大的提高了程序的执行效率。