Java多线程之线程池调优

Java多线程之线程池调优

 

默认配置

 

• corePoolSize=1
• queueCapacity=Integer.MAX_VALUE
• maxPoolSize=Integer.MAX_VALUE
• keepAliveTime=60s
• allowCoreThreadTimeout=false
• rejectedExecutionHandler=AbortPolicy()

缺点

 

• corePoolSize核心线程初始值为1太少了
• queueCapacity和maxPoolSize设置这么大，怕线程太多，系统受不了
• rejectedExecutionHandler这个可以改一下

 

 

 

如何优化

 

需要根据几个值来决定

 

• tasks ：每秒的任务数，假设为500~1000
• taskcost：每个任务花费时间，假设为0.1s
• responsetime：系统允许容忍的最大响应时间，假设为1s

 

做几个计算

 

corePoolSize = 每秒需要多少个线程处理？ 

 

• threadcount = tasks/(1/taskcost) =tasks*taskcout =  (500~1000)*0.1 = 50~100 个线程。corePoolSize设置应该大于50
• 根据8020原则，如果80%的每秒任务数小于800，那么corePoolSize设置为80即可

 

queueCapacity = (coreSizePool/taskcost)*responsetime

 

• 计算可得 queueCapacity = 80/0.1*1 = 80。意思是队列里的线程可以等待1s，超过了的需要新开线程来执行
• 切记不能设置为Integer.MAX_VALUE，这样队列会很大，线程数只会保持在corePoolSize大小，当任务陡增时，不能新开线程来执行，响应时间会随之陡增。

 

maxPoolSize = (max(tasks)- queueCapacity)/(1/taskcost)

 

• 计算可得 maxPoolSize = (1000-80)/10 = 92
• （最大任务数-队列容量）/每个线程每秒处理能力 = 最大线程数

 

rejectedExecutionHandler：根据具体情况来决定，任务不重要可丢弃，任务重要则要利用一些缓冲机制来处理。

 

 

keepAliveTime和allowCoreThreadTimeout采用默认通常能满足

 

        以上都是理想值，实际情况下要根据机器性能来决定。如果在未达到最大线程数的情况机器cpu load已经满了，则需要通过升级硬件（呵呵）和优化代码，降低taskcost来处理。

 

 

 

 

一些经验

 

dev配置

 

• corePoolSize=20
• queueCapacity=100
• maxPoolSize=150
• keepAliveTime=300s
• waitForTasksToCompleteOnShutdown=true，先做完任务再shutdown
• rejectedExecutionHandler=CallerRunsPolicy()，让调用的线程继续完成任务

 

prod配置

 

• corePoolSize=20
• queueCapacity=200
• maxPoolSize=500
• keepAliveTime=300s
• waitForTasksToCompleteOnShutdown=true，先做完任务再shutdown
• rejectedExecutionHandler=CallerRunsPolicy()，让调用的线程继续完成任务

 

建议

 

     实际情况，还是建议先做压测，测试时尽量用理想的线程数，看看线程上限，再逐步调优线程池。