使用JDBC实现批量插入数据的最佳实践

使用JDBC实现批量插入数据的最佳实践

在Java数据库编程中，JDBC（Java Database Connectivity）是用于连接和操作数据库的标准API。当需要批量插入大量数据时，使用JDBC的批处理操作（Batch Processing）可以显著提高性能。本文将介绍如何使用JDBC进行批量插入数据的最佳实践。

关键方法

在进行批量操作时，有几个关键方法需要掌握：

1. setAutoCommit(false): 关闭自动提交模式，以便在批处理完成后手动提交，减少数据库的频繁写操作。
2. addBatch(): 将一条SQL命令添加到当前批处理中。
3. executeBatch(): 执行当前批处理中所有的SQL命令，并清空批处理命令列表。
4. clearBatch(): 清空批处理命令列表，确保在下一次添加命令时不会与之前的命令混合。
5. commit(): 手动提交所有的SQL操作，确保数据持久化到数据库中。

启用MySQL批处理功能

在MySQL中，可以通过设置rewriteBatchedStatements属性为true来启用批处理优化，从而显著提高批处理操作的性能。

完整示例代码

下面是一个完整的示例代码，展示如何使用JDBC进行批量插入操作：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.List;

public class BatchInsertExample {

    public static void main(String[] args) {
        String url = "jdbc:mysql://localhost:3306/yourDatabase?rewriteBatchedStatements=true";
        String user = "username";
        String password = "password";
        
        List<Data> dataList = fetchData(); // 假设有一个方法来获取要插入的数据
        
        try {
            // 加载数据库驱动程序
            Class.forName("com.mysql.cj.jdbc.Driver");

            // 建立数据库连接
            Connection connection = DriverManager.getConnection(url, user, password);

            // 关闭自动提交模式
            connection.setAutoCommit(false);

            // 创建PreparedStatement
            String sql = "INSERT INTO yourTable (column1, column2) VALUES (?, ?)";
            PreparedStatement preparedStatement = connection.prepareStatement(sql);

            // 设置参数并添加到批处理
            for (int i = 0; i < dataList.size(); i++) {
                preparedStatement.setString(1, dataList.get(i).getColumn1());
                preparedStatement.setString(2, dataList.get(i).getColumn2());
                preparedStatement.addBatch();

                // 每1000条执行一次批处理
                if (i % 1000 == 0) {
                    preparedStatement.executeBatch();
                    preparedStatement.clearBatch(); // 清除批处理命令列表
                }
            }

            // 执行剩余的批处理并提交事务
            preparedStatement.executeBatch();
            preparedStatement.clearBatch();
            connection.commit();

            // 关闭资源
            preparedStatement.close();
            connection.close();

        } catch (ClassNotFoundException | SQLException e) {
            e.printStackTrace();
        }
    }
}

代码详解

1. 加载数据库驱动程序：

   Class.forName("com.mysql.cj.jdbc.Driver");
   

2. 建立数据库连接：
   通过设置rewriteBatchedStatements=true启用批处理功能。

   String url = "jdbc:mysql://localhost:3306/yourDatabase?rewriteBatchedStatements=true";
   Connection connection = DriverManager.getConnection(url, "username", "password");
   

3. 关闭自动提交模式：

   connection.setAutoCommit(false);
   

4. 创建PreparedStatement：

   String sql = "INSERT INTO yourTable (column1, column2) VALUES (?, ?)";
   PreparedStatement preparedStatement = connection.prepareStatement(sql);
   

5. 设置参数并添加到批处理：
   使用循环设置参数并将SQL语句添加到批处理中。

   for (int i = 0; i < dataList.size(); i++) {
       preparedStatement.setString(1, dataList.get(i).getColumn1());
       preparedStatement.setString(2, dataList.get(i).getColumn2());
       preparedStatement.addBatch();
   
       // 每1000条执行一次批处理
       if (i % 1000 == 0) {
           preparedStatement.executeBatch();
           preparedStatement.clearBatch(); // 清除批处理命令列表
       }
   }
   

6. 执行剩余的批处理并提交事务：

   preparedStatement.executeBatch();
   preparedStatement.clearBatch();
   connection.commit();
   

7. 关闭资源：

   preparedStatement.close();
   connection.close();
   

总结

通过使用JDBC的批处理操作，结合MySQL的批处理优化功能，可以显著提高批量插入数据的性能。在实际开发中，推荐在处理大批量数据时使用addBatch()、executeBatch()、clearBatch()等方法，并确保关闭自动提交模式以优化数据库操作的效率。