使用FutureTask来提高接口的并发性能优化经验以及踩坑记录

背景:

批量数据采集接口,随着时间的推移,设备一次性上传的数据包越来越大,大到一次性需要处理64条数据,而每条数据需要花费大量的时间去处理,那么如果串行对任务进行处理的话,那么总时间就是N * 64

神操作来了:

使用FutureTask来进行并发操作

1、需要先定义一个并发处理线程池

1)注意注意,需要注意核心线程参数设置,否则会暴雷

2)  注意注意,需要注意队列和最大线程数设置,否则会暴雷

// 定义一个任务列表,方便后面阻塞获取线程执行的结果
List<FutureTask<SaveCollectDataReq>> taskList = new ArrayList<>(); 
for (SaveCollectDataReq saveCollectDataReq : saveCollectDatas) {
    FutureTask<SaveCollectDataReq> futureTask = new FutureTask(new BatchProduceTask(saveCollectDataReq, processOrderProduceService));
    taskList.add(futureTask);
    // 这里是将任务快速提交到线程池,并发处理
    taskAsyncExecutor.submit(futureTask);

}
for (FutureTask<SaveCollectDataReq> saveCollectDataReqFutureTask : taskList) {
    SaveCollectDataReq saveCollectDataReq = null;
    try {
        // 这里是获取并发处理的结果,方便后续的操作
        saveCollectDataReq = saveCollectDataReqFutureTask.get();
        if (Objects.isNull(saveCollectDataReq)) {
            continue;
        }
    } catch (InterruptedException | ExecutionException e) {
        log.error("数据批处理过程异常:",e);
        throw new AiipcBizException(e.getMessage());
    }
}

上面的代码上没什么坑,主要的坑在于线程池,线程的核心数、最大数、队列数以及拒绝策略,这几个参数都会影响接口的执行效率,了解一下

CallerRunsPolicy拒绝策略,这个策略是干什么的呢,他不会像其他策略那样抛弃任务或直接报异常,他会退化成由调用者执行这个任务,坑爹的地方自己想吧。
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值