Callable实现并行查询数据库,增加查询效率

页面查询速度很慢,mysql数据库400w条数据,查看代码后发现有串行执行三次,查询,每次查询大约15s左右,加起来将近50多秒了,数据库sql先不优化,只优化代码

@Slf4j
public class ThreadPoolQueryUtil {

    /**
     * 创建线程池,最大线程数量3,任务队列最大数量100
     */
    static ThreadPoolExecutor fxThreadPool = new ThreadPoolExecutor(3, 6,
            0L, TimeUnit.MILLISECONDS,
            new LinkedBlockingQueue<Runnable>(100));


    public static Future<List<UserTransFileNumStatistics>> executionTask(PageReqDto reqDto, TransFileStatisticsServiceProvider transFileStatisticsServiceProvider,boolean realTimeQuery) {
        log.info("Start executing a query [{}]", reqDto.getFilter());
        Future taskResult = fxThreadPool.submit(
                new Callable() {
                    @Override
                    public List<UserTransFileNumStatistics> call() throws Exception {
                        log.info("Thread[{}]executionQueryTask", Thread.currentThread().getId());
                        if(realTimeQuery){
                            return transFileStatisticsServiceProvider.queryUserTypeTransFileNum(reqDto);
                        }
                        return transFileStatisticsServiceProvider.queryUserTypeTransFileNumByDayTable(reqDto);
                    }
                }
        );
        log.info("Result QueryTask ----------->");
        return taskResult;

    }
}

调用处代码  (请求参数,需要深拷贝,防止线程共享)

 Future<List<UserTransFileNumStatistics>> noUserListByDay = ThreadPoolQueryUtil
                .executionTask(reqDtoputFilterConditons(reqDto, null), transFileStatisticsServiceProvider, isRealTimeQuery);

        Future<List<UserTransFileNumStatistics>> apiListByDay =
                ThreadPoolQueryUtil.executionTask(reqDtoputFilterConditons(reqDto, "2"), transFileStatisticsServiceProvider, isRealTimeQuery);

        Future<List<UserTransFileNumStatistics>> normalUserListByDay =
                ThreadPoolQueryUtil.executionTask(reqDtoputFilterConditons(reqDto, "3"), transFileStatisticsServiceProvider, isRealTimeQuery);

 List<UserTransFileNumStatistics> joinList = new ArrayList<>();
        //天表和实时表+起来
        try {
            joinList.addAll(noUserListByDay.get());
            joinList.addAll(apiListByDay.get());
            joinList.addAll(normalUserListByDay.get());
        } catch (Exception e) {
            log.error("Future Task geting exception : ", e);
            e.printStackTrace();
        }

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值