如何合理设置线程池大小

接着上一篇探讨线程池留下的尾巴,如何合理的设置线程池大小。
要想合理的配置线程池的大小,首先得分析任务的特性,可以从以下几个角度分析:

  1. 任务的性质:CPU密集型任务、IO密集型任务、混合型任务。
  2. 任务的优先级:高、中、低。
  3. 任务的执行时间:长、中、短。
  4. 任务的依赖性:是否依赖其他系统资源,如数据库连接等。

性质不同的任务可以交给不同规模的线程池执行。

对于不同性质的任务来说,CPU密集型任务应配置尽可能小的线程,如配置CPU个数+1的线程数,IO密集型任务应配置尽可能多的线程,因为IO操作不占用CPU,不要让CPU闲下来,应加大线程数量,如配置两倍CPU个数+1,而对于混合型的任务,如果可以拆分,拆分成IO密集型和CPU密集型分别处理,前提是两者运行的时间是差不多的,如果处理时间相差很大,则没必要拆分了。

若任务对其他系统资源有依赖,如某个任务依赖数据库的连接返回的结果,这时候等待的时间越长,则CPU空闲的时间越长,那么线程数量应设置得越大,才能更好的利用CPU。
当然具体合理线程池值大小,需要结合系统实际情况,在大量的尝试下比较才能得出,以上只是前人总结的规律。

在这篇如何合理地估算线程池大小?文章中发现了一个估算合理值的公式

最佳线程数目 = ((线程等待时间+线程CPU时间)/线程CPU时间 )* CPU数目

比如平均每个线程CPU运行时间为0.5s,而线程等待时间(非CPU运行时间,比如IO)为1.5s,CPU核心数为8,那么根据上面这个公式估算得到:((0.5+1.5)/0.5)*8=32。这个公式进一步转化为:

最佳线程数目 = (线程等待时间与线程CPU时间之比 + 1)* CPU数目

可以得出一个结论:
线程等待时间所占比例越高,需要越多线程。线程CPU时间所占比例越高,需要越少线程。
以上公式与之前的CPU和IO密集型任务设置线程数基本吻合。

并发编程网上的一个问题
高并发、任务执行时间短的业务怎样使用线程池?并发不高、任务执行时间长的业务怎样使用线程池?并发高、业务执行时间长的业务怎样使用线程池?
(1)高并发、任务执行时间短的业务,线程池线程数可以设置为CPU核数+1,减少线程上下文的切换
(2)并发不高、任务执行时间长的业务要区分开看:
  a)假如是业务时间长集中在IO操作上,也就是IO密集型的任务,因为IO操作并不占用CPU,所以不要让所有的CPU闲下来,可以适当加大线程池中的线程数目,让CPU处理更多的业务
  b)假如是业务时间长集中在计算操作上,也就是计算密集型任务,这个就没办法了,和(1)一样吧,线程池中的线程数设置得少一些,减少线程上下文的切换
(3)并发高、业务执行时间长,解决这种类型任务的关键不在于线程池而在于整体架构的设计,看看这些业务里面某些数据是否能做缓存是第一步,增加服务器是第二步,至于线程池的设置,设置参考(2)。最后,业务执行时间长的问题,也可能需要分析一下,看看能不能使用中间件对任务进行拆分和解耦。

### Java 线程池大小设置的最佳实践 在设计和实现基于线程池的应用程序时,合理设置线程池大小对于系统的性能至关重要。以下是关于如何正确设置 Java 线程池大小的一些最佳实践: #### 1. 考虑 CPU 密集型任务 如果应用程序主要执行的是 CPU 密集型任务,则应将线程池大小设置为 `CPU 核心数` 或稍大一些。这是因为过多的线程会引发上下文切换开销,从而降低整体效率。 计算公式如下: \[ \text{线程池大小} = \text{可用处理器数量} + 1 \] 例如,在一台拥有 8 核 CPU 的服务器上,可以考虑将线程池大小设置为 9 左右[^1]。 #### 2. 针对 I/O 密集型任务 当任务涉及大量的输入/输出操作(如文件读写、网络通信等)时,由于这些任务通常会让线程处于等待状态,因此可以增加线程的数量以提高吞吐量。 一种常见的经验法则为: \[ \text{线程池大小} = (\text{核心数} \times (1 + W/C)) \] 其中 \(W\) 是等待时间,\(C\) 是实际工作时间[^3]。 假设每项任务有 90% 的时间用于等待数据传输完成,而仅花费 10% 的时间进行有效运算,那么理论上可创建多达十倍于物理核数的线程数目。 #### 3. 动态调整策略 考虑到不同环境下的负载变化可能很大,静态设定固定数值未必总是最优解法;此时采用动态调节机制便显得尤为重要——即依据实时监控到的各项指标自动增减活动中的工作者线程实例总数目。这可以通过自定义扩展 ThreadPoolExecutor 类并重载其相应方法来达成目标[^2]。 #### 4. 使用合适的队列长度 除了控制最大允许并发执行的工作单元外,还需要注意待处理请求排队等候区域容量限制问题。过长的任务序列可能导致内存耗尽风险加剧;反之则容易造成资源闲置浪费现象发生。故此需综合考量具体应用场景需求后再做决定。 ```java import java.util.concurrent.*; public class CustomThreadPool { public static void main(String[] args) throws InterruptedException { int corePoolSize = Runtime.getRuntime().availableProcessors() * 2; int maximumPoolSize = corePoolSize + 1; ExecutorService executor = new ThreadPoolExecutor( corePoolSize, maximumPoolSize, 60L, TimeUnit.SECONDS, new LinkedBlockingQueue<>(100), new ThreadFactoryBuilder().setNameFormat("custom-thread-%d").build(), new ThreadPoolExecutor.AbortPolicy() ); // Submit tasks here... executor.shutdown(); } } ``` 上述代码片段展示了如何通过 ThreadPoolExecutor 构造函数显式指定多个重要属性值,包括但不限于初始启动的核心线程计数、最高许可界限以及超出部分该如何处置等等细节方面内容。 ---
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值