CompletableFuture.runAsync()使用不当导致生产问题

项目场景:

提示:这里简述项目相关背景:

项目中需要计算N*M的数据,单天单仓数据量最大时25W左右,为了提高项目的计算能力,我们使用线程池并行处理据。每个线程处理某天某仓的数据,整个处理流程中耗时最长的地方就是数据存储,要把这25W条数据存储到Mysql表中。为了不让数据存储阻塞整体流程,在存储数据时,使用CompletableFuture.runAsync()另起一个线程去存储数据,主线程继续执行后续的计算任务,当所有数据计算完成,使用join()方法,保证该任务的所有数据都存储完成。


问题描述

提示:这里描述项目中遇到的问题:

CompletableFuture.runAsync()这段代码的执行效率很慢,并且导致主线程执行超时,严重时导致整个服务性能降低。
代码示例:

@Override
	public void completableFutureDemo() {
		for(int i = 0; i < 10; i++) {
			//其他计算流程代码
			CompletableFuture<Void> future1 = CompletableFuture.runAsync(() -> {
				lists1.foreach(list -> batchInsert1(list));
			});
			//其他计算流程代码
			CompletableFuture<Void> future2 = CompletableFuture.runAsync(() -> {
				lists1.foreach(list -> batchInsert1(list));
			});
			CompletableFuture.allOf(future1, future2).join();
		}
	}

原因分析:

提示:这里填写问题的分析:

项目中没有自定义线程池,并且CPU核数-1大于1,CompletableFuture.runAsync 使用的是默认的线程池ForkJoinPool,会把主线程设置成守护线程。线程池的核心线程数是CPU核数-1,对于IO密集型的任务来说远远不够用,会导致大量的IO任务等待,导致吞吐率大幅度下降,即默认线程池比较适用于CPU密集型任务。短时间大量请求过来先堵塞CompletableFuture的默认线程池CommonPool线程池,其他接口拿不到线程资源被阻塞,最后造成 502。
最后,怀疑是一个接口卡死,导致其他接口线程等待,造成很多接口都无法响应(因为在那个特别大的接口执行的时候,刷新了一下浏览器,整个体统直接崩了,所有后台接口都是502)。


解决方案:

提示:这里填写该问题的具体解决方案:

我们项目组成员经过协商后,不使用CompletableFuture.runAsync方法,改成少量批次同步执行,因为项目最终的目的是正确的计算数据,且执行效率用户也可以接受。

CompletableFuture.runAsync在项目中的使用后续再慢慢研究。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值