Java线程+MySQL 上传百万条数据到阿里云数据库

IEDA 创建java web 程序

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述

mysql 数据库链接

package com.example.demo.DAO;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;

/**
 * @创建人 jiaya
 * @创建时间 2021/11/1616:24
 * @作者联系方式:Jyanyong56@163.com
 */
public class DataBase {
    private static String URL = "jdbc:mysql://IP:port/databsase";  // CAPTION 数据库地址
    private static String userName = name;
    private static String password = password;
    private static String Driver = "com.mysql.cj.jdbc.Driver";

    private static Connection connection = null;

    public DataBase(){}

    public static Connection getConnection(){
        if(connection == null){
            try{
                Class.forName(Driver);
                connection = DriverManager.getConnection(URL, userName, password);
            } catch (SQLException throwables) {
                throwables.printStackTrace();
            } catch (ClassNotFoundException e) {
                e.printStackTrace();
            }
        }
        return connection;
    }
}

java线程

package com.example.demo.Controller;

import com.example.demo.DAO.DataBase;

import javax.xml.stream.FactoryConfigurationError;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.ArrayList;

/**
 * @创建人 jiaya
 * @创建时间 2021/11/1712:48
 * @作者联系方式:Jyanyong56@163.com
 */
public class InsertThread extends DataBase implements Runnable{
    private Thread t;
    private String threadName;
    Connection connection = null;
    String staticetis_sql = "INSERT INTO rain VALUES";  // CAPTION SQL命令
    private ArrayList<String> valuesThread = new ArrayList<>();  // CAPTION SQL数据

    public InsertThread(String name, ArrayList<String> values) throws SQLException {
        this.threadName = name;
        connection = getConnection();
        connection.setAutoCommit(false);
        System.out.println("线程" + threadName);
        this.valuesThread.addAll(values);
    }

    @Override
    public void run() {
        for(int i=0; i< valuesThread.size()-1;i++){
            staticetis_sql = staticetis_sql + valuesThread.get(i) + ",";
        }
        staticetis_sql = staticetis_sql + valuesThread.get(valuesThread.size() - 1);
        System.out.println(staticetis_sql);
        try {
            PreparedStatement ps = (PreparedStatement) connection.prepareStatement(staticetis_sql);
            ps.execute();
            connection.commit();  // CAPTION sql事务提交
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }

    public void start(){
        if(t==null){
            t = new Thread(this, threadName);
            t.start();
        }
    }
}

链接

链接:https://pan.baidu.com/s/1tl3nG6xq_iof4VK14tUxgQ
提取码:1h2g
–来自百度网盘超级会员V4的分享
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!对于查询数据库百万条数据的情况,使用多线程数据库分页查询是一种常见的优化策略。下面是一个基本的实现思路: 1. 多线程处理:将数据查询任务分配给多个线程并行执行,提高查询效率。可以使用Java线程池来管理线程,例如使用`ExecutorService`和`Callable`接口。 2. 数据库分页查询:通过分页查询的方式减少单次查询的数据量,避免一次性查询大量数据导致性能问题。可以使用SQL语句中的`LIMIT`子句来实现分页查询,例如`SELECT * FROM table_name LIMIT offset, limit`,其中`offset`表示偏移量,`limit`表示每页查询的数据量。 下面是一个简单的示例代码: ```java import java.sql.*; import java.util.concurrent.*; public class DatabaseQuery { private static final int PAGE_SIZE = 100; // 每页查询的数据量 public static void main(String[] args) { ExecutorService threadPool = Executors.newFixedThreadPool(10); // 创建线程池 Connection connection = null; try { connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/database_name", "username", "password"); int totalRows = getTotalRows(connection); // 获取数据总行数 int totalPages = (int) Math.ceil((double) totalRows / PAGE_SIZE); // 计算总页数 for (int page = 0; page < totalPages; page++) { int offset = page * PAGE_SIZE; threadPool.submit(new QueryTask(connection, offset)); } } catch (SQLException e) { e.printStackTrace(); } finally { if (connection != null) { try { connection.close(); } catch (SQLException e) { e.printStackTrace(); } } threadPool.shutdown(); } } private static int getTotalRows(Connection connection) throws SQLException { try (Statement statement = connection.createStatement(); ResultSet resultSet = statement.executeQuery("SELECT COUNT(*) FROM table_name")) { resultSet.next(); return resultSet.getInt(1); } } private static class QueryTask implements Callable<Void> { private Connection connection; private int offset; public QueryTask(Connection connection, int offset) { this.connection = connection; this.offset = offset; } @Override public Void call() throws Exception { try (PreparedStatement statement = connection.prepareStatement("SELECT * FROM table_name LIMIT ?, ?")) { statement.setInt(1, offset); statement.setInt(2, PAGE_SIZE); ResultSet resultSet = statement.executeQuery(); // 处理查询结果 while (resultSet.next()) { // 处理每条数据 // ... } resultSet.close(); } return null; } } } ``` 以上示例代码仅供参考,具体的实现需要根据实际情况进行调整和优化。同时,请确保在使用多线程数据库查询时遵循相关的线程安全和数据库事务处理的规范。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值