CompletableFuture多线程查询统一结果返回

已于 2022-09-19 18:41:33 修改
阅读量1.6k 收藏 6
点赞数 1
分类专栏： 遇到过的坑 文章标签： java
于 2022-09-19 18:34:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31674229/article/details/126454001
版权

CompletableFuture多线程查询统一结果返回

收到一个新的需求，设计的页面是这样的。

功能设计

  • 页面表格31个，统计展示，加上表格中风险等级字段需要运算得出，如果靠单线程去执行，耗时一定很长，综合考虑，采用多线程的方式将结果查询出来，执行完成后统一结果返回给前端。
  • 思路：
    • 每个表格启动一个子线程执行查询、计算。
    • 所有子线程执行完成后，统一结果返回个前端。
实现细节
  • Controller层
package com.gosuncn.fxfk.api.controller;

import com.alibaba.fastjson.JSONObject;
import com.gosuncn.fxfk.common.model.Response;
import com.gosuncn.fxfk.db.service.FxFkNxbgService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;

import javax.servlet.http.HttpServletResponse;


@RestController
@RequestMapping("/nxbg")
public class FxFkNxbgController {

    @Autowired
    private FxFkNxbgService fxFkNxbgService;

    @PostMapping("/getZffxqkList")
    public Response getZffxqkList(@RequestBody JSONObject params){
        if(params.isEmpty()) return Response.fail("请求参数不能为空!");
        return Response.success(fxFkNxbgService.getZffxqkList(params));
    }
}
  • Service接口
package com.gosuncn.fxfk.db.service;

import com.alibaba.fastjson.JSONObject;
import com.gosuncn.fxfk.entity.vo.common.RegionOrgVo;
import com.gosuncn.fxfk.entity.vo.nxbg.zffxylb.SwfxyYlb;

import javax.servlet.http.HttpServletResponse;
import java.util.List;
import java.util.Map;

public interface FxFkNxbgService {

    Map<String,Object> getZffxqkList(JSONObject params);
}
  • Service接口实现，这里只展示前两个表格的处理逻辑
package com.gosuncn.fxfk.db.service.impl;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.bsp.security.model.SessionUser;
import com.bsp.security.util.SessionUserUtil;
import com.gosuncn.fxfk.bsp.util.UserAuthorityUtil;
import com.gosuncn.fxfk.common.enums.EnumRoleLevel;
import com.gosuncn.fxfk.common.util.PoiUtil;
import com.gosuncn.fxfk.db.config.AsyncTaskConfig;
import com.gosuncn.fxfk.db.mapper.FkSwJalDwZdMapper;
import com.gosuncn.fxfk.db.service.*;
import com.gosuncn.fxfk.entity.vo.common.PmVo;
import com.gosuncn.fxfk.entity.vo.common.RegionOrgVo;
import com.gosuncn.fxfk.entity.vo.fx.CjlAreaCountVO;
import com.gosuncn.fxfk.entity.vo.nxbg.*;
import com.gosuncn.fxfk.entity.vo.nxbg.zffxylb.SwfxyYlb;
import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.scheduling.annotation.Async;
import org.springframework.stereotype.Service;

import javax.servlet.http.HttpServletResponse;
import java.util.*;
import java.util.concurrent.CompletableFuture;
import java.util.stream.Collectors;

@Service
public class FxFkNxbgServiceImpl implements FxFkNxbgService {

    @Value("${system-mark}")
    private String systemMark;

    @Autowired
    private AsyncTaskConfig asyncTaskConfig;

    @Autowired
    private FkSwSelajService fkSwSelajService;

    @Autowired
    private FkSwSelryService fkSwSelryService;


	
    @Async
    public List<SelAjZffxqk> getSelAjBgInfo(JSONObject params,SessionUser user) {
        List<SelAjZffxqk> selAjList = new ArrayList<>();
        if (params.isEmpty()) return selAjList;
        EnumRoleLevel roleLevel  = UserAuthorityUtil.getMaxRoleLevel(systemMark,user);
        List<CjlAreaCountVO> listAll = fkSwSelajService.queryAreaCountToXfjAll(JSON.parseObject(params.toJSONString(),Map.class));
        List<CjlAreaCountVO> listSj = new ArrayList<>();
        if(params.containsKey("orgCode") && StringUtils.isNotEmpty(params.getString("orgCode"))){ // 市级权限
            listSj.addAll(fkSwSelajService.queryAreaCountToXfj(JSON.parseObject(params.toJSONString(),Map.class),user));
        }
        for(int i = 0;i < listAll.size();i++){
            CjlAreaCountVO cjlAreaCountVO = listAll.get(i);
            SelAjZffxqk selAjZffxqk = new SelAjZffxqk();
            selAjZffxqk.setDwdm(cjlAreaCountVO.getRegionCode());
            selAjZffxqk.setDwmc(cjlAreaCountVO.getRegionName());
            selAjZffxqk.setAjzs(cjlAreaCountVO.getCaseTotal());
            selAjZffxqk.setAjwjs(cjlAreaCountVO.getWjazsTotal());
            selAjZffxqk.setAjwjl(cjlAreaCountVO.getJalTotal());
            if(i < 10){
                selAjZffxqk.setLevel("高");
            }else if(i >= 10 && i < 20) {
                selAjZffxqk.setLevel("中");
            }else {
                selAjZffxqk.setLevel("低");
            }
            selAjList.add(selAjZffxqk);
        }
        //市级权限
        if(params.containsKey("orgCode") && StringUtils.isNotEmpty(params.getString("orgCode"))){
            // 求两个集合的交集
            List<SelAjZffxqk> selAjListList = selAjList.stream()
                    .filter(entityA -> listSj.stream().map(CjlAreaCountVO::getRegionCode)
                            .anyMatch(code -> Objects.equals(entityA.getDwdm(),code)
                            )).collect(Collectors.toList());

            return selAjListList;
        }
        return selAjList;
    }


    @Async
    public List<SelRyXzXsAjWjl> getSelRyXzXsAjWjlBgInfo(JSONObject params,SessionUser user){
        List<SelRyXzXsAjWjl> selRyXzXsAjWjls = new ArrayList<>();
        if (params.isEmpty()) return selRyXzXsAjWjls;
        EnumRoleLevel roleLevel  = UserAuthorityUtil.getMaxRoleLevel(systemMark,user);
        List<CjlAreaCountVO> listAll = fkSwSelryService.queryAreaCountToXfjAll(JSON.parseObject(params.toJSONString(),Map.class));
        List<CjlAreaCountVO> listSj = new ArrayList<>();
        if(params.containsKey("orgCode") && StringUtils.isNotEmpty(params.getString("orgCode"))){ // 市级权限
            listSj.addAll(fkSwSelryService.queryAreaCountToXfj(JSON.parseObject(params.toJSONString(),Map.class),user));
        }
        for(int i = 0;i < listAll.size();i++){
            CjlAreaCountVO cjlAreaCountVO = listAll.get(i);
            SelRyXzXsAjWjl selRyZffxqk = new SelRyXzXsAjWjl();
            selRyZffxqk.setDwdm(cjlAreaCountVO.getRegionCode());
            selRyZffxqk.setDwmc(cjlAreaCountVO.getRegionName());
            selRyZffxqk.setAjzs(cjlAreaCountVO.getCaseTotal());
            selRyZffxqk.setAjwjs(cjlAreaCountVO.getWjazsTotal());
            selRyZffxqk.setAjwjl(cjlAreaCountVO.getJalTotal());
            if(i < 10){
                selRyZffxqk.setLevel("高");
            }else if(i >= 10 && i < 20) {
                selRyZffxqk.setLevel("中");
            }else {
                selRyZffxqk.setLevel("低");
            }
            selRyXzXsAjWjls.add(selRyZffxqk);
        }
        //市级权限
        if(params.containsKey("orgCode") && StringUtils.isNotEmpty(params.getString("orgCode"))){
            // 求两个集合的交集
            List<SelRyXzXsAjWjl> selRyXzXsAjWjlsList = selRyXzXsAjWjls.stream()
                    .filter(entityA -> listSj.stream().map(CjlAreaCountVO::getRegionCode)
                            .anyMatch(code -> Objects.equals(entityA.getDwdm(),code)
                            )).collect(Collectors.toList());

            return selRyXzXsAjWjlsList;
        }
        return selRyXzXsAjWjls;
    }


    @Override
    public Map<String, Object> getZffxqkList(JSONObject params) {
        Map<String,Object> rs = Collections.synchronizedMap(new LinkedHashMap<>(32));
        if (params.isEmpty()) return rs;
        SessionUser user = SessionUserUtil.getSessionUser();
        if(!params.containsKey("orgCode") || StringUtils.isEmpty(params.getString("orgCode"))){
            params.put("orgCode",UserAuthorityUtil.getCurrentUserLevelOrgId(systemMark,user));
        }
        // 使用多线程执行查询
        CompletableFuture<List<SelAjZffxqk>> selajFuture = CompletableFuture.supplyAsync(() -> getSelAjBgInfo(JSONObjectDeepCopy(params),user),asyncTaskConfig.asyncTaskExecutor());
        CompletableFuture<List<SelRyXzXsAjWjl>> selRyFuture = CompletableFuture.supplyAsync(() -> getSelRyXzXsAjWjlBgInfo(JSONObjectDeepCopy(params),user),asyncTaskConfig.asyncTaskExecutor());
        

        CompletableFuture<Void> allOf = CompletableFuture.allOf(selajFuture, selRyFuture);
        try{
            allOf.join(); // join阻塞主线程,等子线程执行完成后才会继续玩下执行。join会抛出未经检查的异常
            rs.put("selAjList",selajFuture.get());
            rs.put("selRyList",selRyFuture.get());
        }catch (Exception e){
            e.printStackTrace();
        }
        return rs;
    }


    /**
     * 需要进行深度拷贝的参数
     * @param params
     * @return
     */
    private JSONObject JSONObjectDeepCopy(JSONObject params){
        JSONObject rs = new JSONObject();
        rs.putAll(params);
        return rs;
    }
}
  • 线程池定义
package com.gosuncn.fxfk.db.config;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableAsync;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

import java.util.concurrent.ThreadPoolExecutor;

/**
 * 多线程定义线程池
 */
@EnableAsync
@Configuration
public class AsyncTaskConfig {

    @Bean(name = "asyncTaskExecutor")
    public ThreadPoolTaskExecutor asyncTaskExecutor(){
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(20); //核心线程数
        executor.setMaxPoolSize(200); //最大线程数
        executor.setQueueCapacity(1000); //队列大小
        executor.setThreadNamePrefix("LocustTask-");
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        executor.setKeepAliveSeconds(1000);
        executor.setAllowCoreThreadTimeOut(false);
        executor.initialize();

        return executor;
    }
}
  • 对应的实体类
package com.gosuncn.fxfk.entity.vo.nxbg;

import cn.afterturn.easypoi.excel.annotation.Excel;
import cn.afterturn.easypoi.excel.annotation.ExcelIgnore;
import cn.afterturn.easypoi.excel.annotation.ExcelTarget;

import java.io.Serializable;

/**
 * 十二类案件执法风险情况
 */
//@ExcelTarget(value = "selAjZffxqk")
public class SelAjZffxqk implements Serializable {

    @Excel(name = "单位")
    private String dwmc;

    @ExcelIgnore
    private String dwdm;

    @Excel(name = "案件总数")
    private Integer ajzs = 0; //案件总数

    @Excel(name = "案件未结数")
    private Integer ajwjs = 0; //案件未结数

    @Excel(name = "案件未结率")
    private String ajwjl; //案件未结率

    @Excel(name = "风险等级")
    private String level; //风险等级

    public String getDwmc() {
        return dwmc;
    }

    public void setDwmc(String dwmc) {
        this.dwmc = dwmc;
    }

    public String getDwdm() {
        return dwdm;
    }

    public void setDwdm(String dwdm) {
        this.dwdm = dwdm;
    }

    public Integer getAjzs() {
        return ajzs;
    }

    public void setAjzs(Integer ajzs) {
        this.ajzs = ajzs;
    }

    public Integer getAjwjs() {
        return ajwjs;
    }

    public void setAjwjs(Integer ajwjs) {
        this.ajwjs = ajwjs;
    }

    public String getAjwjl() {
        return ajwjl;
    }

    public void setAjwjl(String ajwjl) {
        this.ajwjl = ajwjl;
    }

    public String getLevel() {
        return level;
    }

    public void setLevel(String level) {
        this.level = level;
    }
}

package com.gosuncn.fxfk.entity.vo.nxbg;

import cn.afterturn.easypoi.excel.annotation.Excel;
import cn.afterturn.easypoi.excel.annotation.ExcelIgnore;
import cn.afterturn.easypoi.excel.annotation.ExcelTarget;

import java.io.Serializable;

/**
 * 十二类人员行政、刑事案件未结率
 */
//@ExcelTarget(value = "selRyXzXsAjWjl")
public class SelRyXzXsAjWjl implements Serializable {
    @Excel(name = "单位")
    private String dwmc;

    @ExcelIgnore
    private String dwdm;

    @Excel(name = "案件总数")
    private Integer ajzs = 0; //案件总数

    @Excel(name = "案件未结数")
    private Integer ajwjs = 0; //案件未结数

    @Excel(name = "案件未结率")
    private String ajwjl; //案件未结率

    @Excel(name = "风险等级")
    private String level; //风险等级

    public String getDwmc() {
        return dwmc;
    }

    public void setDwmc(String dwmc) {
        this.dwmc = dwmc;
    }

    public String getDwdm() {
        return dwdm;
    }

    public void setDwdm(String dwdm) {
        this.dwdm = dwdm;
    }

    public Integer getAjzs() {
        return ajzs;
    }

    public void setAjzs(Integer ajzs) {
        this.ajzs = ajzs;
    }

    public Integer getAjwjs() {
        return ajwjs;
    }

    public void setAjwjs(Integer ajwjs) {
        this.ajwjs = ajwjs;
    }

    public String getAjwjl() {
        return ajwjl;
    }

    public void setAjwjl(String ajwjl) {
        this.ajwjl = ajwjl;
    }

    public String getLevel() {
        return level;
    }

    public void setLevel(String level) {
        this.level = level;
    }
}

结语

使用CompletableFuture多线程查询统一结果返回的案例使用，解决对应的问题，希望能帮到大家。
尹天遐
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java多线程异步返回Future使用
李云龙的意大利面
10-28 849
import java.util.concurrent.Callable; class Task implements Callable<String> { private String filename; public Task(String filename) { this.filename = filename; } @Override public String call() throws Exception { .
【Java多线程】CompletableFuture 异步多线程
小星星专栏
08-12 800
任务时间长是因为统计指标多，而且指标是串行的方式去进行统计的，我们只需要考虑把这些指标从串行化的执行方式改成并行的执行方式，那么整个页面的时间的渲染时间就会大大的缩短， 如何让多个线程同步的执行任务，我们这里考虑使用多线程，每个查询任务单独创建一个线程去执行，这样每个统计指标就可以并行的处理了。统计报表页面涉及到的统计指标数据比较多，每个指标需要单独的去查询统计数据库数据，单个指标只要几秒钟，但是页面的指标有10多个，所以整体下来页面渲染需要将近一分钟。如果是串行化的统计方式那么总执行时间会为12秒。
CompleteFuture多线程处理分页记录
最新发布
海的声音的博客
06-18 112
【代码】CompleteFuture多线程处理分页记录。
Java多线程工具有哪些？
Java_ttcd的博客
08-19 614
Future的问题写多线程程序的时候，可以使用Future从一个异步线程中拿到结果，但是如果使用过程中会发现一些问题：如果想要对Future的结果做进一步的操作，需要阻塞当前线程多个Future不能被链式的执行，每个Future的结果都是独立的，期望对一个Future的结果做另外一件异步的事情；没有异常处理策略，如果Future执行失败了，需要手动捕捉CompletableFuture应运而生。
CompletableFuture
qq_37032116的博客
06-07 777
CompletableFuture相关学习的心得
使用CompletableFuture并发处理任务并将结果汇总
亦疏爱吃肉
12-14 5221
先说一下业务场景，在查询用户信息的时候需要顺便查询很多与用户相关的信息，这些信息都在不同的系统里面。每个信息都要查几个不同的表才能得到完整数据，相对比较耗时。 伪代码如下: List<User> user = getUser(); // 循环 for(User u:user) { u.setXXX(//某信息查询结果); U.setXXX(//某信息查询结果); } 解决方案也很简单，把顺序查询转为并发查询即可 ExecutorService executor = new Thre
java线程-如何优雅地获取线程的执行结果
m0_73311735的博客
07-20 550
java复制代码// 取消任务// 判断任务是否已取消// 判断任务是否已结束// 获得任务执行结果 阻塞，被调用时，如果任务还没有执行完，那么调用get()方法的线程会阻塞。直到任务执行完// 才会被唤醒get();// 获得任务执行结果，支持超时用来取消异步任务的执行。如果异步任务已经完成或者已经被取消，或者由于某些原因不能取消，则会返回false。如果任务还没有被执行，则会返回true并且异步任务不会被执行。
CompletableFuture(异步任务编排)
时莫如初的博客
08-04 5995
当我们需要异步调用任务并且需要异步任务的返回值时我们就需要使用FutureTask的get方法来获取返回值.程序输出1231加入我们的异步任务非常的耗时由于get方法会阻塞主线程就会导致程序的吞吐量下降程序输出1123必须要等异步任务完成才能继续执行主线程,不仅如此，当我们在碰到一下业务场景的时候，单纯使用Future接口或者FutureTask类并不能很好地完成以下我们所需的业务....
CompletableFuture用法详解
qq_36042938的博客
08-09 2667
小笔记
并发查询数据库并做汇总处理（多线程+CompletableFuture方式）
机智的爆爆哥
12-29 2012
并发查询db进行汇总的两种方式
假如有Thread1、Thread2、ThreaD3、Thread4四条线程分别统计C、D、E、F四个盘的大小，所有线程都统计完毕交给Thread5线程去做汇总，应当如何实现？
卖克的专栏
05-14 7844
  一般情况，我们实现多线程都是Thread或者Runnable(后者比较多)，但是，这两种都是没返回值的，所以我们需要使用callable(有返回值的多线程)和future(获得线程的返回值)来实现了。/** * 假如有Thread1、Thread2、ThreaD3、Thread4四条线程分别统计C、D、E、F四个盘的大小，所有线程都统计完毕交给Thread5线程去做汇总，应当如何实现？ *...
使用多线程执行任务，并获取返回结果，附异步实现
delete_bug的博客
05-07 6800
多线程+异步让程序的效率更高
Java 多线程返回结果
牧小七的博客
03-07 426
Java 多线程返回结果
JAVA8用CompletableFuture进行多任务操作并收集运行结果
rocklee的专栏
01-20 3205
  首先要处理的数据可以很大的，我们用分批方法将大数据按指定每份的数量切成若干份，每份再跑一个任务，最后等待所有任务结果后收集各任务执行的结果。 Map<String,String> serverMap= Arrays.stream(serverToCheck).collect(Collectors.toMap(i->i.split(",")[0], i->i.split(",")[1],(x, y) -> y,LinkedHashMap::new));
用mybatis批处理, 编程式事务,CompletableFuture异步处理,多线程,线程池,list 分页,实现多张表大批量插入
果酱 の 博客
05-31 5946
在实际的开发中，我们经常需要将大量的数据插入到数据库中。如果使用单条插入的方式，会导致数据库连接频繁的开启和关闭，从而导致程序性能低下。为了提高程序的性能，我们可以使用批处理的方式来插入数据。同时，我们还可以使用Java编程式事务、多线程、线程池、List分页等技术来实现多张表大批量插入的功能。本文将介绍如何使用Java编程式事务、多线程、线程池、List分页等技术实现多张表大批量插入的功能。本文介绍了如何使用Java编程式事务、多线程、线程池、List分页等技术实现多张表大批量插入的功能。
CompletableFuture实现多个互不相干的方法并行调用
浪丶荡
05-20 8692
CompletableFuture.supplyAsync()和 CompletableFuture.allOf()解决多方法并行问题
项目实战：使用JUC的CompletableFuture执行任务，并根据返回值执行异步回调
大吉的博客
01-07 1936
前言 程序猿大吉在实施的威逼之下又有了新的需求，翻译成技术语言，大致是这样的： 不停地调用一个远程接口（成千上万次）。该接口会返回一串id，并拿着这个id回写我们本地的数据库。 这个远程接口响应时间特别久，大概要1到3s。而一旦接口返回一串id，并将id回写到本地数据库，这个过程比较短，只需要0.05s左右。 所以我想到了将查询远程接口封装成一个函数，将回写本地数据库封装成一个函数，将异常处理封装成一个函数。这样可以最大程度解耦。 在保证效率的情况下必须是用线程池，使用线程池的话，有两种方法解决该需求：
Async注解使用和CompletableFuture注解获取返回值
qq_38042187的博客
03-06 2049
Async注解使用和CompletableFuture注解获取返回值
spring多线程返回值 并对多个返回值进行操作
sjian1990的博客
10-25 6629
最近遇到一个问题：有一大堆的数据，需要根据不同类别的标签进行筛选出需要的数据，并且还要根据条件对这些标签分别进行并和或操作。 最终决定使用callable+future来实现： 具体代码如下： @RequestMapping("/test") public Object test(HttpServletRequest request){ try{ //创建一个线程池 Executo
java CompletableFuture 多线程获取结果
01-24
以下是使用Java CompletableFuture获取多线程结果的示例： ```java import java.util.concurrent.CompletableFuture; import java.util.concurrent.ExecutionException; public class CompletableFutureExample { ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值