MySQL使用Batch批量处理

转自http://blog.itpub.net/29254281/viewspace-1151785/

使用MySQL的Batch批量处理,
JDBC驱动版本需要5.1.13或以上
测试使用的JDBC驱动版本:mysql-connector-java-5.1.30-bin


测试表结构如下:
CREATE TABLE test (
  id int(11) DEFAULT NULL,
  name varchar(20) DEFAULT NULL
) ENGINE=InnoDB 

首先使用普通的方式插入100万条数据,使用时间81948毫秒
程序如下:

1. public class Test {
   
2.     public static void main(String[] args) throws ClassNotFoundException,
   
3.             SQLException {
   
4.         long start = System.currentTimeMillis();
   
5.         Class.forName("com.mysql.jdbc.Driver");
   
6.         Connection connection = DriverManager
   
7.                 .getConnection(
   
8.                         "jdbc:mysql://127.0.0.1:3306/xx",
   
9.                         "xx", "xx");
   
10. 
    
11.         connection.setAutoCommit(false);
    
12.         PreparedStatement cmd = connection
    
13.                 .prepareStatement("insert into test values(?,?)");
    
14.         
    
15.         for (int i = 0; i < 1000000; i++) {
    
16.             cmd.setInt(1, i);
    
17.             cmd.setString(2, "test");
    
18.             cmd.executeUpdate();
    
19.         }
    
20.         connection.commit();
    
21.         
    
22.         cmd.close();
    
23.         connection.close();
    
24.         
    
25.         long end = System.currentTimeMillis();
    
26.         System.out.println(end - start);
    
27.     }
    
28. }

使用批量处理，仅用7189毫秒，提升效果非常明显。
程序如下:

1. public class Test {
   
2.     public static void main(String[] args) throws ClassNotFoundException,
   
3.             SQLException {
   
4.         long start = System.currentTimeMillis();
   
5.         Class.forName("com.mysql.jdbc.Driver");
   
6.         Connection connection = DriverManager
   
7.                 .getConnection(
   
8.                         "jdbc:mysql://127.0.0.1:3306/xx?rewriteBatchedStatements=true",
   
9.                         "xx", "xx");
   
10. 
    
11.         connection.setAutoCommit(false);
    
12.         PreparedStatement cmd = connection
    
13.                 .prepareStatement("insert into test values(?,?)");
    
14.         
    
15.         for (int i = 0; i < 1000000; i++) {
    
16.             cmd.setInt(1, i);
    
17.             cmd.setString(2, "test");
    
18.             cmd.addBatch();
    
19.             if(i%1000==0){
    
20.                 cmd.executeBatch();
    
21.             }
    
22.         }
    
23.         cmd.executeBatch();
    
24.         connection.commit();
    
25.         
    
26.         cmd.close();
    
27.         connection.close();
    
28.         
    
29.         long end = System.currentTimeMillis();
    
30.         System.out.println(end - start);
    
31.     }
    
32. }

与Oracle不同的是,需要添加下面的参数，才可以使用批量处理，否则还是使用逐条处理的方式。
rewriteBatchedStatements=true

开启MySQL的查询日志general_log,发现如下SQL
INSERT INTO test
VALUES (11, 'test'), (12, 'test'), (13, 'test')......


相对Oracle的批量处理，MySQL需要JDBC参数显式开启,并且对于JDBC驱动的版本也有要求。