Java中使用多线程来导入十万条数据到MySQL数据库

在Java中使用多线程来导入十万条数据到MySQL数据库可以显著提高性能，特别是当数据库操作成为性能瓶颈时。但是，需要注意的是，多线程环境下操作数据库需要谨慎处理事务、连接管理和数据一致性等问题。

以下是一个基本的示例，展示了如何使用Java的ExecutorService来并行执行多个数据库插入任务。在这个例子中，我们将数据分成多个批次，每个批次由一个线程处理。

首先，确保你的项目中已经包含了MySQL JDBC驱动的依赖。

然后，你可以编写如下的Java代码：

import java.sql.Connection;  
import java.sql.DriverManager;  
import java.sql.PreparedStatement;  
import java.sql.SQLException;  
import java.util.concurrent.ExecutorService;  
import java.util.concurrent.Executors;  
import java.util.concurrent.TimeUnit;  
  
public class MultiThreadedDataImport {  
  
    private static final String URL = "jdbc:mysql://localhost:3306/your_database_name?useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=UTC";  
    private static final String USER = "your_username";  
    private static final String PASSWORD = "your_password";  
  
    private static void insertData(int start, int end) {  
        String sql = "INSERT INTO users (name) VALUES (?)";  
        try (Connection conn = DriverManager.getConnection(URL, USER, PASSWORD);  
             PreparedStatement pstmt = conn.prepareStatement(sql)) {  
  
            conn.setAutoCommit(false); // 启用事务  
  
            for (int i = start; i < end; i++) {  
                pstmt.setString(1, "User" + i);  
                pstmt.addBatch();  
  
                if ((i - start) % 1000 == 0) { // 每1000条记录执行一次批处理  
                    pstmt.executeBatch();  
                    conn.commit();  
                    pstmt.clearBatch();  
                }  
            }  
  
            // 插入剩余的记录（如果有的话）  
            if ((end - start) % 1000 != 0) {  
                pstmt.executeBatch();  
                conn.commit();  
            }  
  
        } catch (SQLException e) {  
            e.printStackTrace();  
            // 在这里可以添加回滚逻辑  
        }  
    }  
  
    public static void main(String[] args) {  
        int totalRecords = 100000;  
        int threads = 10; // 假设我们使用10个线程  
        int recordsPerThread = totalRecords / threads;  
  
        ExecutorService executor = Executors.newFixedThreadPool(threads);  
  
        for (int i = 0; i < threads; i++) {  
            int start = i * recordsPerThread;  
            int end = (i == threads - 1) ? totalRecords : start + recordsPerThread;  
  
            executor.submit(() -> insertData(start, end));  
        }  
  
        executor.shutdown();  
        try {  
            executor.awaitTermination(1, TimeUnit.HOURS); // 等待所有任务完成，这里设置了1小时的超时时间  
        } catch (InterruptedException e) {  
            e.printStackTrace();  
        }  
  
        System.out.println("Data import completed.");  
    }  
}

注意：

1. 事务管理：在这个例子中，每个线程都有自己的数据库连接，并且每个线程独立管理自己的事务。这意味着每个线程插入的数据都是在一个单独的事务中处理的。如果你需要跨多个线程维护事务的一致性，那么你可能需要采用更复杂的分布式事务管理策略。

2. 连接池：在实际应用中，建议使用连接池来管理数据库连接，而不是像上面那样在每次插入时都打开和关闭连接。连接池可以显著提高性能并减少资源消耗。

3. 错误处理：在上面的例子中，如果某个线程在插入数据时遇到错误，它会打印堆栈跟踪并继续执行。你可能需要更复杂的错误处理逻辑，比如重试机制或将错误记录到日志文件中。

4. 性能调优：你可能需要根据你的具体需求和环境来调整线程的数量、批处理的大小等参数，以达到最佳的性能。

5. 数据一致性：在并发插入数据时，确保你的数据库表结构（如索引、主键等）能够支持高并发操作，并且你的应用程序逻辑不会引入数据不一致的问题。