线程池配置详解(史上最好的文章哦)

一、前言

在开发过程中,好多场景要用到线程池。每次都是自己根据业务场景来设置线程池中的各个参数。这两天又有需求碰到了,索性总结一下方便以后再遇到可以直接看着用。虽说根据业务场景来设置各个参数的值,但有些万变不离其宗,掌握它的原理对如何用好线程池起了至关重要的作用。那我们接下来就来进行线程池的分析。

二、ThreadPoolExecutor的重要参数

我们先来看下ThreadPoolExecutor的带的那些重要参数的构造器。

<span style="color:#000000"><code class="language-java"><span style="color:#c678dd">public</span> <span style="color:#61aeee">ThreadPoolExecutor</span><span style="color:#999999">(</span><span style="color:#c678dd">int</span> corePoolSize<span style="color:#999999">,</span>
                          <span style="color:#c678dd">int</span> maximumPoolSize<span style="color:#999999">,</span>
                          <span style="color:#c678dd">long</span> keepAliveTime<span style="color:#999999">,</span>
                          TimeUnit unit<span style="color:#999999">,</span>
                          BlockingQueue<span style="color:#61aeee"><span style="color:#999999"><</span>Runnable<span style="color:#999999">></span></span> workQueue<span style="color:#999999">,</span>
                          ThreadFactory threadFactory<span style="color:#999999">,</span>
                          RejectedExecutionHandler handler<span style="color:#999999">)</span> <span style="color:#999999">{</span>
    <span style="color:#999999">.</span><span style="color:#999999">.</span><span style="color:#999999">.</span>
<span style="color:#999999">}</span>
</code></span>

1、corePoolSize: 核心线程数

这个应该是最重要的参数了,所以如何合理的设置它十分重要。

  • 核心线程会一直存活,及时没有任务需要执行。
  • 当线程数小于核心线程数时,即使有线程空闲,线程池也会优先创建新线程处理。
  • 设置allowCoreThreadTimeout=true(默认false)时,核心线程会超时关闭。

如何设置好的前提我们要很清楚的知道CPU密集型IO密集型的区别。

(1)、CPU密集型

CPU密集型也叫计算密集型,指的是系统的硬盘、内存性能相对CPU要好很多,此时,系统运作大部分的状况是CPU Loading 100%,CPU要读/写I/O(硬盘/内存),I/O在很短的时间就可以完成,而CPU还有许多运算要处理,CPU Loading 很高。

在多重程序系统中,大部分时间用来做计算、逻辑判断等CPU动作的程序称之CPU bound。例如一个计算圆周率至小数点一千位以下的程序,在执行的过程当中绝大部分时间用在三角函数和开根号的计算,便是属于CPU bound的程序。

CPU bound的程序一般而言CPU占用率相当高。这可能是因为任务本身不太需要访问I/O设备,也可能是因为程序是多线程实现因此屏蔽掉了等待I/O的时间。

(2)、IO密集型

IO密集型指的是系统的CPU性能相对硬盘、内存要好很多,此时,系统运作,大部分的状况是CPU在等I/O (硬盘/内存) 的读/写操作,此时CPU Loading并不高。

I/O bound的程序一般在达到性能极限时,CPU占用率仍然较低。这可能是因为任务本身需要大量I/O操作,而pipeline做得不是很好,没有充分利用处理器能力。

好了,了解完了以后我们就开搞了。

(3)、先看下机器的CPU核数,然后在设定具体参数:

自己测一下自己机器的核数

<span style="color:#000000"><code class="language-java">System<span style="color:#999999">.</span>out<span style="color:#999999">.</span><span style="color:#61aeee">println</span><span style="color:#999999">(</span>Runtime<span style="color:#999999">.</span><span style="color:#61aeee">getRuntime</span><span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">.</span><span style="color:#61aeee">availableProcessors</span><span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">)</span><span style="color:#999999">;</span>
</code></span>
  •  

CPU核数 = Runtime.getRuntime().availableProcessors()

(4)、分析下线程池处理的程序是CPU密集型还是IO密集型

CPU密集型:corePoolSize = CPU核数 + 1

IO密集型:corePoolSize = CPU核数 * 2

2、maximumPoolSize:最大线程数

  • 当线程数>=corePoolSize,且任务队列已满时。线程池会创建新线程来处理任务。
  • 当线程数=maxPoolSize,且任务队列已满时,线程池会拒绝处理任务而抛出异常。

3、keepAliveTime:线程空闲时间

  • 当线程空闲时间达到keepAliveTime时,线程会退出,直到线程数量=corePoolSize。
  • 如果allowCoreThreadTimeout=true,则会直到线程数量=0。

4、queueCapacity:任务队列容量(阻塞队列)

  • 当核心线程数达到最大时,新任务会放在队列中排队等待执行

5、allowCoreThreadTimeout:允许核心线程超时

6、rejectedExecutionHandler:任务拒绝处理器

两种情况会拒绝处理任务:

  • 当线程数已经达到maxPoolSize,且队列已满,会拒绝新任务。
  • 当线程池被调用shutdown()后,会等待线程池里的任务执行完毕再shutdown。如果在调用shutdown()和线程池真正shutdown之间提交任务,会拒绝新任务。

线程池会调用rejectedExecutionHandler来处理这个任务。如果没有设置默认是AbortPolicy,会抛出异常。

ThreadPoolExecutor 采用了策略的设计模式来处理拒绝任务的几种场景。

这几种策略模式都实现了RejectedExecutionHandler 接口。

  • AbortPolicy 丢弃任务,抛运行时异常。
  • CallerRunsPolicy 执行任务。
  • DiscardPolicy 忽视,什么都不会发生。
  • DiscardOldestPolicy 从队列中踢出最先进入队列(最后一个执行)的任务。

三、如何设置参数

默认值:

<span style="color:#000000"><code class="language-java">corePoolSize <span style="color:#669900">=</span> <span style="color:#98c379">1</span>

maxPoolSize <span style="color:#669900">=</span> Integer<span style="color:#999999">.</span>MAX_VALUE

queueCapacity <span style="color:#669900">=</span> Integer<span style="color:#999999">.</span>MAX_VALUE

keepAliveTime <span style="color:#669900">=</span> <span style="color:#98c379">60</span>s

allowCoreThreadTimeout <span style="color:#669900">=</span> <span style="color:#56b6c2">false</span>

rejectedExecutionHandler <span style="color:#669900">=</span> <span style="color:#61aeee">AbortPolicy</span><span style="color:#999999">(</span><span style="color:#999999">)</span>
</code></span>

如何来设置呢?

需要根据几个值来决定

tasks :每秒的任务数,假设为500~1000

taskcost:每个任务花费时间,假设为0.1s

responsetime:系统允许容忍的最大响应时间,假设为1s

做几个计算

corePoolSize = 每秒需要多少个线程处理?

threadcount = tasks/(1/taskcost) = tasks*taskcout = (500 ~ 1000)*0.1 = 50~100 个线程。

corePoolSize设置应该大于50。

根据8020原则,如果80%的每秒任务数小于800,那么corePoolSize设置为80即可。

queueCapacity = (coreSizePool/taskcost)*responsetime

计算可得 queueCapacity = 80/0.1*1 = 800。意思是队列里的线程可以等待1s,超过了的需要新开线程来执行。

切记不能设置为Integer.MAX_VALUE,这样队列会很大,线程数只会保持在corePoolSize大小,当任务陡增时,不能新开线程来执行,响应时间会随之陡增。

maxPoolSize 最大线程数在生产环境上我们往往设置成corePoolSize一样,这样可以减少在处理过程中创建线程的开销。

rejectedExecutionHandler:根据具体情况来决定,任务不重要可丢弃,任务重要则要利用一些缓冲机制来处理。

keepAliveTimeallowCoreThreadTimeout采用默认通常能满足。

以上都是理想值,实际情况下要根据机器性能来决定。如果在未达到最大线程数的情况机器cpu load已经满了,则需要通过升级硬件和优化代码,降低taskcost来处理。


以下是我自己的的线程池配置:

<span style="color:#000000"><code class="language-java"><span style="color:#999999">@Configuration</span>
<span style="color:#c678dd">public</span> <span style="color:#c678dd">class</span> ConcurrentThreadGlobalConfig <span style="color:#999999">{</span>
    <span style="color:#999999">@Bean</span>
    <span style="color:#c678dd">public</span> ThreadPoolTaskExecutor <span style="color:#61aeee">defaultThreadPool</span><span style="color:#999999">(</span><span style="color:#999999">)</span> <span style="color:#999999">{</span>
        ThreadPoolTaskExecutor executor <span style="color:#669900">=</span> <span style="color:#c678dd">new</span> ThreadPoolTaskExecutor<span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">;</span>
        <span style="color:#5c6370">//核心线程数目</span>
        executor<span style="color:#999999">.</span><span style="color:#61aeee">setCorePoolSize</span><span style="color:#999999">(</span><span style="color:#98c379">65</span><span style="color:#999999">)</span><span style="color:#999999">;</span>
        <span style="color:#5c6370">//指定最大线程数</span>
        executor<span style="color:#999999">.</span><span style="color:#61aeee">setMaxPoolSize</span><span style="color:#999999">(</span><span style="color:#98c379">65</span><span style="color:#999999">)</span><span style="color:#999999">;</span>
        <span style="color:#5c6370">//队列中最大的数目</span>
        executor<span style="color:#999999">.</span><span style="color:#61aeee">setQueueCapacity</span><span style="color:#999999">(</span><span style="color:#98c379">650</span><span style="color:#999999">)</span><span style="color:#999999">;</span>
        <span style="color:#5c6370">//线程名称前缀</span>
        executor<span style="color:#999999">.</span><span style="color:#61aeee">setThreadNamePrefix</span><span style="color:#999999">(</span><span style="color:#669900">"DefaultThreadPool_"</span><span style="color:#999999">)</span><span style="color:#999999">;</span>
        <span style="color:#5c6370">//rejection-policy:当pool已经达到max size的时候,如何处理新任务</span>
        <span style="color:#5c6370">//CALLER_RUNS:不在新线程中执行任务,而是由调用者所在的线程来执行</span>
        <span style="color:#5c6370">//对拒绝task的处理策略</span>
        executor<span style="color:#999999">.</span><span style="color:#61aeee">setRejectedExecutionHandler</span><span style="color:#999999">(</span><span style="color:#c678dd">new</span> ThreadPoolExecutor<span style="color:#999999">.</span>CallerRunsPolicy<span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">)</span><span style="color:#999999">;</span>
        <span style="color:#5c6370">//线程空闲后的最大存活时间</span>
        executor<span style="color:#999999">.</span><span style="color:#61aeee">setKeepAliveSeconds</span><span style="color:#999999">(</span><span style="color:#98c379">60</span><span style="color:#999999">)</span><span style="color:#999999">;</span>
        <span style="color:#5c6370">//加载</span>
        executor<span style="color:#999999">.</span><span style="color:#61aeee">initialize</span><span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">;</span>

        <span style="color:#c678dd">return</span> executor<span style="color:#999999">;</span>
    <span style="color:#999999">}</span>
<span style="color:#999999">}</span>
</code></span>

四、线程池队列的选择

workQueue - 当线程数目超过核心线程数时用于保存任务的队列。主要有3种类型的BlockingQueue可供选择:无界队列有界队列同步移交。从参数中可以看到,此队列仅保存实现Runnable接口的任务。

这里再重复一下新任务进入时线程池的执行策略:

  • 当正在运行的线程小于corePoolSize,线程池会创建新的线程。
  • 当大于corePoolSize而任务队列未满时,就会将整个任务塞入队列。
  • 当大于corePoolSize而且任务队列满时,并且小于maximumPoolSize时,就会创建新额线程执行任务。
  • 当大于maximumPoolSize时,会根据handler策略处理线程。

1、无界队列

队列大小无限制,常用的为无界的LinkedBlockingQueue,使用该队列作为阻塞队列时要尤其当心,当任务耗时较长时可能会导致大量新任务在队列中堆积最终导致OOM。阅读代码发现,Executors.newFixedThreadPool 采用就是 LinkedBlockingQueue,而博主踩到的就是这个坑,当QPS很高,发送数据很大,大量的任务被添加到这个无界LinkedBlockingQueue 中,导致cpu和内存飙升服务器挂掉。

当然这种队列,maximumPoolSize 的值也就无效了。当每个任务完全独立于其他任务,即任务执行互不影响时,适合于使用无界队列;例如,在 Web 页服务器中。这种排队可用于处理瞬态突发请求,当命令以超过队列所能处理的平均数连续到达时,此策略允许无界线程具有增长的可能性。

2、有界队列

当使用有限的 maximumPoolSizes 时,有界队列有助于防止资源耗尽,但是可能较难调整和控制。常用的有两类,一类是遵循FIFO原则的队列如ArrayBlockingQueue,另一类是优先级队列如PriorityBlockingQueuePriorityBlockingQueue中的优先级由任务的Comparator决定。

使用有界队列时队列大小需和线程池大小互相配合,线程池较小有界队列较大时可减少内存消耗,降低cpu使用率和上下文切换,但是可能会限制系统吞吐量。

3、同步移交队列

如果不希望任务在队列中等待而是希望将任务直接移交给工作线程,可使用SynchronousQueue作为等待队列。SynchronousQueue不是一个真正的队列,而是一种线程之间移交的机制。要将一个元素放入SynchronousQueue中,必须有另一个线程正在等待接收这个元素。只有在使用无界线程池或者有饱和策略时才建议使用该队列。

最后我分享一篇用动画展示线程池各个参数的文章:https://zhuanlan.zhihu.com/p/112527671 ,希望对你有帮助。

  • 2
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java线程池是一种用于管理和复用线程的机制,它可以提高多线程程序的性能和效率。在Java中,线程池由ThreadPoolExecutor实现,通过设置不同的参数可以对线程池的行为进行调整。 以下是Java线程池的一些常用参数及其解释: 1. corePoolSize(核心线程数):线程池中始终保持的活动线程数,即使它们处于空闲状态。当有新任务提交时,如果活动线程数小于corePoolSize,则会创建新线程来处理任务。 2. maximumPoolSize(最大线程数):线程池中允许存在的最大线程数。当活动线程数达到maximumPoolSize并且工作队列已满时,新任务将会被拒绝。 3. keepAliveTime(线程空闲时间):当线程池中的线程数量超过corePoolSize时,多余的空闲线程在等待新任务到来时的最长等待时间。超过这个时间,空闲线程将被终止。 4. unit(时间单位):keepAliveTime的时间单位,可以是秒、毫秒、微秒等。 5. workQueue(工作队列):用于存储等待执行的任务的阻塞队列。常见的工作队列有ArrayBlockingQueue、LinkedBlockingQueue、SynchronousQueue等。 6. threadFactory(线程工厂):用于创建新线程的工厂。可以自定义线程的名称、优先级等属性。 7. handler(拒绝策略):当线程池无法接受新任务时的处理策略。常见的拒绝策略有AbortPolicy(默认,抛出RejectedExecutionException异常)、CallerRunsPolicy(由调用线程执行任务)、DiscardPolicy(直接丢弃任务)和DiscardOldestPolicy(丢弃最旧的任务)。 这些参数可以根据实际需求进行调整,以达到最佳的线程池性能和资源利用率。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值