项目场景:
提示:这里简述项目相关背景:
项目中需要计算N*M的数据,单天单仓数据量最大时25W左右,为了提高项目的计算能力,我们使用线程池并行处理据。每个线程处理某天某仓的数据,整个处理流程中耗时最长的地方就是数据存储,要把这25W条数据存储到Mysql表中。为了不让数据存储阻塞整体流程,在存储数据时,使用CompletableFuture.runAsync()另起一个线程去存储数据,主线程继续执行后续的计算任务,当所有数据计算完成,使用join()方法,保证该任务的所有数据都存储完成。
问题描述
提示:这里描述项目中遇到的问题:
CompletableFuture.runAsync()这段代码的执行效率很慢,并且导致主线程执行超时,严重时导致整个服务性能降低。
代码示例:
@Override
public void completableFutureDemo() {
for(int i = 0; i < 10; i++) {
//其他计算流程代码
CompletableFuture<Void> future1 = CompletableFuture.runAsync(() -> {
lists1.foreach(list -> batchInsert1(list));
});
//其他计算流程代码
CompletableFuture<Void> future2 = CompletableFuture.runAsync(() -> {
lists1.foreach(list -> batchInsert1(list));
});
CompletableFuture.allOf(future1, future2).join();
}
}
原因分析:
提示:这里填写问题的分析:
项目中没有自定义线程池,并且CPU核数-1大于1,CompletableFuture.runAsync
使用的是默认的线程池ForkJoinPool,会把主线程设置成守护线程。线程池的核心线程数是CPU核数-1,对于IO密集型的任务来说远远不够用,会导致大量的IO任务等待,导致吞吐率大幅度下降,即默认线程池比较适用于CPU密集型任务。短时间大量请求过来先堵塞CompletableFuture的默认线程池CommonPool线程池,其他接口拿不到线程资源被阻塞,最后造成 502。
最后,怀疑是一个接口卡死,导致其他接口线程等待,造成很多接口都无法响应(因为在那个特别大的接口执行的时候,刷新了一下浏览器,整个体统直接崩了,所有后台接口都是502)。
解决方案:
提示:这里填写该问题的具体解决方案:
我们项目组成员经过协商后,不使用CompletableFuture.runAsync方法,改成少量批次同步执行,因为项目最终的目的是正确的计算数据,且执行效率用户也可以接受。
CompletableFuture.runAsync在项目中的使用后续再慢慢研究。