Java利用多线程进行并发数据查询

在我们的系统中,我们可能会在一个事务中,执行多项操作,调用多个外部服务,查询数据或者更新数据,进行一系列逻辑处理之后返回给客户一个结果。

在这里插入图片描述
像这个页面展示的内容,各个模块数据来自不同的接口,然后经过后端的逻辑整理成一个接口返回给前端。

而我们常规的写法一般是这样的:

    /**
     * 情感分析
     * @return
     */
    public List<WxRequestResult> selectWxRequestResults(){
        return wxRequestResultMapper.selectWxRequestResult();
    }

    /**
     * 热词捕捉
     * @return
     */
    public List<WxRequestResult> selectKeyWord(){
        return wxRequestResultMapper.selectKeyWord();
    }

    /**
     * 会话
     * @return
     */
    public List<WxRequestResult> selectConversation(){
        return wxRequestResultMapper.selectConversation();
    }

    /**
     * 策略
     * @return
     */
    public List<WxRequestResult> selectStrategy(){
        return wxRequestResultMapper.selectStrategy();
    }

    @Override
    public ResultVO selects() {

        JSONObject json = new JSONObject();
		long timeStart = System.currentTimeMillis();
        List<WxRequestResult> selectWxRequestResults = selectWxRequestResults();
        List<WxRequestResult> selectKeyWord = selectKeyWord();
        List<WxRequestResult> selectConversation = selectConversation();
        List<WxRequestResult> selectStrategy = selectStrategy();
        json.put("selectWxRequestResults",selectWxRequestResults);
        json.put("selectKeyWord",selectKeyWord);
        json.put("selectConversation",selectConversation);
        json.put("selectStrategy",selectStrategy);
        long timeEnd = System.currentTimeMillis();
        System.out.println("time:"+(timeEnd-timeStart));
        return ResultVO.data(json);
    }

逻辑一般是先定义几个方法查询对应数据,然后在用一个方法去调用这些方法,最终把结果返回到前端。

大概预期结果:time:4520

这样写的缺点是:这些方法是串行执行的,如果数量量大的情况下,执行时间会很长,用户体验极差。

为了解决这个问题,我们可以换一种方法,使这些方法并发执行。直接上代码:
并发工具类:

package com.winsun.kafka.utils;

import java.util.concurrent.Callable;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Future;

/**
 * 并发工具类
 *
 * @author laz
 * @since 2022-07-13
 *
 */
public class ConcurrentUtil {

    /**
     * 执行任务
     *
     * @param executorService ExecutorService
     * @param callable 回调
     * @param <T> 返回的结果集Future泛型
     * @return Future泛型
     */
    public static <T> Future<T> doJob(ExecutorService executorService, Callable<T> callable) {
        return executorService.submit(callable);
    }

    /**
     * 获取结果集,执行时会阻塞直到有结果,中间的异常不会被静默
     *
     * @param future Future
     * @param <T> 返回的结果集泛型
     * @return T
     */
    public static <T> T futureGet(Future<T> future) {
        try {
            return future.get();
        } catch (InterruptedException | ExecutionException e) {
            e.printStackTrace();
            throw new RuntimeException(e.getMessage());
        }
    }
}

逻辑代码:

    /**
     * 情感分析
     * @return
     */
    public List<WxRequestResult> selectWxRequestResults(){
        return wxRequestResultMapper.selectWxRequestResult();
    }

    /**
     * 热词捕捉
     * @return
     */
    public List<WxRequestResult> selectKeyWord(){
        return wxRequestResultMapper.selectKeyWord();
    }

    /**
     * 会话
     * @return
     */
    public List<WxRequestResult> selectConversation(){
        return wxRequestResultMapper.selectConversation();
    }

    /**
     * 策略
     * @return
     */
    public List<WxRequestResult> selectStrategy(){
        return wxRequestResultMapper.selectStrategy();
    }
    
    @Override
    public ResultVO select() {
        ExecutorService executorService = Executors.newFixedThreadPool(20);
        long timeStart = System.currentTimeMillis();
        JSONObject json = new JSONObject();

        Future<List<WxRequestResult>> futureRequestResult = ConcurrentUtil.doJob(executorService, this::selectWxRequestResults);
        Future<List<WxRequestResult>> futureKeyWord = ConcurrentUtil.doJob(executorService, this::selectKeyWord);
        Future<List<WxRequestResult>> futureConversation = ConcurrentUtil.doJob(executorService, this::selectConversation);
        Future<List<WxRequestResult>> futureStrategy = ConcurrentUtil.doJob(executorService, this::selectStrategy);

        List<WxRequestResult> requestResults = ConcurrentUtil.futureGet(futureRequestResult);
        List<WxRequestResult> resultList = ConcurrentUtil.futureGet(futureKeyWord);
        List<WxRequestResult> selectConversation = ConcurrentUtil.futureGet(futureConversation);
        List<WxRequestResult> selectStrategy = ConcurrentUtil.futureGet(futureStrategy);
        //情感分析
        json.put("requestResults",requestResults);
        //热词
        json.put("keyWord",resultList);
        //会话
        json.put("conversation",selectConversation);
        //策略
        json.put("strategy",selectStrategy);
        long timeEnd = System.currentTimeMillis();
        System.out.println("time:"+(timeEnd-timeStart));
        return ResultVO.data(json);
    }

大概预期结果2325

总结
在这个情景下,并发执行比串行执行的速度快了差不多两倍。

并发查询的效率会受到机器配置下影响,核心线程多的机器可以理论上执行更多的并发任务。

并发查询可以更加合理的将本服务的压力分担给别的服务。而不是本服务积压大量服务,而其它服务又大量空闲,使得前端的请求得不到及时的响应。

  • 4
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
你可以使用Java多线程来实现数据导入MySQL的功能。下面是一个简单的示例代码: ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; import java.util.ArrayList; import java.util.List; public class DataImporter { private static final String DB_URL = "jdbc:mysql://localhost:3306/mydatabase"; private static final String DB_USER = "username"; private static final String DB_PASSWORD = "password"; public static void main(String[] args) { List<String> data = getDataToImport(); // 获取待导入的数据 int numThreads = 5; // 设置线程数 int batchSize = data.size() / numThreads; // 每个线程处理的数据量 List<Thread> threads = new ArrayList<>(); for (int i = 0; i < numThreads; i++) { int start = i * batchSize; int end = (i == numThreads - 1) ? data.size() : (i + 1) * batchSize; List<String> subData = data.subList(start, end); Thread thread = new Thread(() -> { try { importData(subData); // 导入数据到MySQL } catch (SQLException e) { e.printStackTrace(); } }); thread.start(); threads.add(thread); } // 等待所有线程完成 for (Thread thread : threads) { try { thread.join(); } catch (InterruptedException e) { e.printStackTrace(); } } System.out.println("数据导入完成!"); } private static List<String> getDataToImport() { // 返回待导入的数据 // TODO: 实现该方法,获取数据源 return null; } private static void importData(List<String> data) throws SQLException { try (Connection conn = DriverManager.getConnection(DB_URL, DB_USER, DB_PASSWORD)) { String sql = "INSERT INTO mytable (column1, column2) VALUES (?, ?)"; PreparedStatement pstmt = conn.prepareStatement(sql); for (String item : data) { // 设置参数 // TODO: 根据数据格式和表结构,设置参数的值 pstmt.setString(1, item); pstmt.setString(2, item); pstmt.addBatch(); // 添加到批处理 } pstmt.executeBatch(); // 执行批处理 } } } ``` 请根据你的实际情况修改代码中的数据库连接信息、表名、列名以及获取数据源的方式。这段代码将会使用多个线程来并行地导入数据到MySQL数据库。每个线程处理一部分数据,最后等待所有线程完成后输出导入完成的消息。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值