千万条sql mysql批处理_用JDBC操作MySQL——大量数据库操作时使用批处理提速

之前所有的操作由于数据量很小，所以没有进行批处理的优化，性能也没有出现明显的恶化，但是随着我用java处理数据量的大幅提高，频繁使用静态SQL语句的方法严重降低了处理效率，这里总结一下JDBC批处理的方法，来提高数据库的吞吐量。

首先，在SQL语句的形成上，我们可以使用StringBuilder合成SQL，也可以使用JDBC的set方法将参数带入。

JDBC的批处理方法已知的有2大类：基于Statement对象的和PreparedStatement对象的

1. Statement对象的批处理

优势与劣势：

Statement对象的批处理，通过调用addBatch方法将每个sql单独加入Batch，调用stmt.executeBatch通常用于处理批量的不同种类SQL语句。本例中给出了使用插入，修改，删除的批处理示例。

Statement对象发送的是未经过编译的SQL语句，执行效率较PreparedStatement慢

Connection conn=getConnection();

String sql1 = "insert into multisql (id,name,class) values (3,a great news,see a lot)";

String sql2 = "update multisql set id=3 , name=\'modifiedName\',class=\'mengNew\'";

String sql3 = "delete from multisql where id>0 and name=\'modifiedName\'";

try{

Statement stmt = conn.createStatement();

stmt.addBatch(sql1);

stmt.addBatch(sql2);

stmt.addBatch(sql3);

/** 执行批处理sql */

stmt.executeBatch();

/** 清除已执行的sql */

stmt.clearBatch();

}catch (Exception e){

System.out.println("批量处理SQL出错!");

e.printStackTrace();

}

2. PreparedStatement对象的批处理

PreparedStatement 类继承子Statement类，通常我们可以直接用Statement类的引用指向PreparedStatement 类的对象，不过这里对于多态，我还是不很理解，就不bb了。

优势与劣势：

PreparedStatement类的批处理方法想数据库发送的是编译后的SQL语句，相比于上面调用Statement类的方法，效率有所提高。

PreparedStatement类的批处理方法，用于发送一组同种的SQL操作语句，例如：一组都是insert，或一组都是update、delete，因此常用于批量插入、批量删除、批量更新字段值等操作。而上面的方法则可发送一组不同操作

由于是一组同种操作，因此常常使用JDBC中自带的set 方法将字段值等参数 “ 带入 ” 到SQL语句中

这里就没有catch语句了，其实焦点都不在catch上。。。

try{

Statement stmt = conn.prepareStatement("insert into multisql (id,name,class) values (?,?,?)");

PreparedStatement ps = conn.prepareStatement("insert into multisql (id,name,class) values (?,?,?)");

ps.setInt(1,par_int);

ps.setString(2,"TheName");

ps.setString(3,"phone");

ps.addBatch();

cnt++;

if(cnt%1000==0){

ps.executeBatch();

ps.clearBatch();/** 清理SQL指令，避免Out of Memory */

}

/** 最终释放内存 */

ps.close();