Java多线程之线程池调优
默认配置
- corePoolSize=1
- queueCapacity=Integer.MAX_VALUE
- maxPoolSize=Integer.MAX_VALUE
- keepAliveTime=60s
- allowCoreThreadTimeout=false
- rejectedExecutionHandler=AbortPolicy()
缺点
- corePoolSize核心线程初始值为1太少了
- queueCapacity和maxPoolSize设置这么大,怕线程太多,系统受不了
- rejectedExecutionHandler这个可以改一下
如何优化
需要根据几个值来决定
- tasks :每秒的任务数,假设为500~1000
- taskcost:每个任务花费时间,假设为0.1s
- responsetime:系统允许容忍的最大响应时间,假设为1s
做几个计算
corePoolSize = 每秒需要多少个线程处理?
- threadcount = tasks/(1/taskcost) =tasks*taskcout = (500~1000)*0.1 = 50~100 个线程。corePoolSize设置应该大于50
- 根据8020原则,如果80%的每秒任务数小于800,那么corePoolSize设置为80即可
queueCapacity = (coreSizePool/taskcost)*responsetime
- 计算可得 queueCapacity = 80/0.1*1 = 80。意思是队列里的线程可以等待1s,超过了的需要新开线程来执行
- 切记不能设置为Integer.MAX_VALUE,这样队列会很大,线程数只会保持在corePoolSize大小,当任务陡增时,不能新开线程来执行,响应时间会随之陡增。
maxPoolSize = (max(tasks)- queueCapacity)/(1/taskcost)
- 计算可得 maxPoolSize = (1000-80)/10 = 92
- (最大任务数-队列容量)/每个线程每秒处理能力 = 最大线程数
rejectedExecutionHandler:根据具体情况来决定,任务不重要可丢弃,任务重要则要利用一些缓冲机制来处理。
keepAliveTime和allowCoreThreadTimeout采用默认通常能满足
以上都是理想值,实际情况下要根据机器性能来决定。如果在未达到最大线程数的情况机器cpu load已经满了,则需要通过升级硬件(呵呵)和优化代码,降低taskcost来处理。
一些经验
dev配置
- corePoolSize=20
- queueCapacity=100
- maxPoolSize=150
- keepAliveTime=300s
- waitForTasksToCompleteOnShutdown=true,先做完任务再shutdown
- rejectedExecutionHandler=CallerRunsPolicy(),让调用的线程继续完成任务
prod配置
- corePoolSize=20
- queueCapacity=200
- maxPoolSize=500
- keepAliveTime=300s
- waitForTasksToCompleteOnShutdown=true,先做完任务再shutdown
- rejectedExecutionHandler=CallerRunsPolicy(),让调用的线程继续完成任务
建议
实际情况,还是建议先做压测,测试时尽量用理想的线程数,看看线程上限,再逐步调优线程池。