结论
使用 CompletableFuture
异步执行任务时,请务必自定义线程池。
原因
CompletableFuture
默认使用的线程池是ForkJoinPool.commonPool()
,而commonPool
是当前虚拟机进程上的所有CompletableFuture
、parallelStream
(并行流) 共享的。CompletableFuture
是否使用默认线程池,和机器的CPU核心数有关。当CPU核心数 - 1 > 1
时,CompletableFuture
才会使用默认的线程池,否则机器将会为每个CompletableFuture
的任务创建一个新线程去执行。
所以,在单核或双核机器上,如果使用 CompletableFuture
没有自定义线程池,CompletableFuture
等于没有使用线程池,机器会为每个任务创建一个新线程,且会有资源耗尽的风险。
在多核机器上,默认线程池池内的核心线程数为机器核心数 - 1
。对于一个 4 核的机器来说,最只有 3 个线程,对于IO密集型的任务来说,这其实远远不够用,从而导致大量的IO任务在等待,甚至服务挂掉。
小贴士
什么是CPU密集型、IO密集型
应用场景
记一次生产环境中的问题。需求是修改一批数据,由于当时并没有提供批量修改的接口,所以只能循环去修改数据,又想到可以使用 CompletableFuture
异步去执行,于是在循环中使用了 CompletableFuture
,且没有自定义线程池。本地测试时是通过IDEA启动项目只测试了这个功能,没有问题。合到生产环境进行发布验证时,我们组的人都在进行功能验证,并发量增大,导致服务报错。在日志中捕获到了异常信息,有一个线程一直处于等待状态,导致服务卡死。
虽然在处理 IO 密集型任务时,任务越多,CPU 效率越高,但也有一个限度。所以尽量避免在循环中使用 CompletableFuture
,可以将子任务放在循环中,将循环作为一个任务使用 CompletableFuture
。
另外,Java 流中的并行流(parallelStream
)也使用的是默认的线程池,需要谨慎使用。