高并发情况下线程数的选取,重点参考博文
一、线程池简介
1.底层都是ThreadPoolExecutor实现
2.
3.核心线程数corePoolSize:线程池的常驻核心线程数
4.maximumPoolSize线程池能够容纳同时执行的最大线程数
5.keepAliveTime:多余的空闲线程的存活时间。当空闲时间达到keepAliveTime时,多余的线程将被销毁,直至只剩下corePoolSize的数量为止。
6.unit:keepAliveTime的单位,取值有
TimeUnit.DAYS; //天
TimeUnit.HOURS; //小时
TimeUnit.MINUTES; //分钟
TimeUnit.SECONDS; //秒
TimeUnit.MILLISECONDS; //毫秒
TimeUnit.MICROSECONDS; //微妙
TimeUnit.NANOSECONDS; //纳秒
7.workQueue:任务队列,被提交但尚未被执行的任务
8.threadFactoy:表示生成线程池中工作线程的线程工厂,用于创建线程,一般默认即可
9.handler:拒绝策略,表示当前队列满了并且工作线程大于线程池的最大线程数(maximumPoolSize)时如何拒绝请求执行的Runnable的策略
10.handler的四大拒绝策略:当线程池的任务缓存队列已满并且线程池中的线程数目达到maximumPoolSize时,如果还有任务到来就会采取任务拒绝策略,通常有以下四种策略:
ThreadPoolExecutor.AbortPolicy:丢弃任务并抛出RejectedExecutionException异常。 (线程池中默认的拒绝策略。)
ThreadPoolExecutor.DiscardPolicy:也是丢弃任务,但是不抛出异常。 默默丢弃
ThreadPoolExecutor.DiscardOldestPolicy:丢弃队列最前面的等待时间最久的任务,然后重新尝试执行任务(重复此过程)
ThreadPoolExecutor.CallerRunsPolicy:由调用线程处理该任务,谁调用返回给谁
二、工作原理
看图说话
1.corePool为线程池常驻线程,当有请求的时候常驻线程执行,但是当请求数高于常驻线程时,多余的线程数会被安排到workQueue任务队列里等待执行。
2.当常驻线程全部都在处理请求时,这个时候任务队列里的请求数也满了的情况下,线程池工厂threadFactoy加开线程数,但数量不超过maximumPool最大线程数,多线程同时处理任务
3.分情况而定,第一种情况,(线程数仍然还是最大线程数)请求数渐渐降低,线程池中的线程开始有空闲,并且达到空闲时间keepAliveTime规定的时间,这种情况下,多余的线程将被销毁,直到只剩下常驻线程数corePool;第二种情况,(线程数仍然还是最大线程数)请求数仍然在增加,这个时候触发拒绝策略,根据拒绝策略选择相应的拒绝方式。(四大拒绝策略)
4.
1.核心线程是否已满 没有满则继续执行任务,如果满了,再来的请求将存储到队列里
2.队列是否已满 没有的话核心线程继续执行任务,如果满了,线程池增加线程数
3.线程池是否已满,没有的话线程池继续处理任务,如果满了,将启动拒绝策略
核心数 --> 队列 --> 线程池
三、手写线程池
private ExecutorService threadPool;
public static void main(String[] args) {
ExecutorService threadPool = new ThreadPoolExecutor(
2,//常驻线程数
5,//最大线程数
2L,//最大空闲时间
TimeUnit.SECONDS,//时间单位
new ArrayBlockingQueue<Runnable>(3),//队列大小
Executors.defaultThreadFactory(),//线程工厂
new ThreadPoolExecutor.DiscardPolicy());//拒绝策略
try {
for (int i = 1; i <=10; i++){
threadPool.execute(() -> {
System.out.println(Thread.currentThread().getName() + "\tXXX");
});
}
}catch (Exception e){
e.printStackTrace();
}finally {
threadPool.shutdown();
}
}
高并发情况下,线程数的选取。
在高并发的情况下采用线程池,有效的降低了线程创建释放的时间花销及资源开销,如不使用线程池,有可能造成系统创建大量线程而导致消耗完系统内存以及”过度切换”。(在JVM中采用的处理机制为时间片轮转,减少了线程间的相互切换)
那么在高并发的情况下,我们怎么选择最优的线程数量呢?选择原则又是什么呢?。
第一种:任务一般可分为:CPU密集型、IO密集型、混合型,对于不同类型的任务需要分配不同大小的线程池。CPU密集型任务 尽量使用较小的线程池,一般为CPU核心数+1。 因为CPU密集型任务使得CPU使用率很高,若开过多的线程数,只能增加上下文切换的次数,因此会带来额外的开销。IO密集型任务 可以使用稍大的线程池,一般为2*CPU核心数+1。 IO密集型任务CPU使用率并不高,因此可以让CPU在等待IO的时候去处理别的任务,充分利用CPU时间。混合型任务 可以将任务分成IO密集型和CPU密集型任务,然后分别用不同的线程池去处理。 只要分完之后两个任务的执行时间相差不大,那么就会比串行执行来的高效。 因为如果划分之后两个任务执行时间相差甚远,那么先执行完的任务就要等后执行完的任务,最终的时间仍然取决于后执行完的任务,而且还要加上任务拆分与合并的开销,得不偿失。
第二种呢,在IO优化文档中,有这样地公式:
最佳线程数目 = ((线程等待时间+线程CPU时间)/线程CPU时间 )* CPU数目
即线程等待时间所占比例越高,需要越多线程。线程CPU时间所占比例越高,需要越少线程。
优化线程池线程数量
有经验公式
Nthread=Ncpu*Ucpu*(1+W/C)
W/C:等待时间与计算时间的比值
Ncpu:CPU数量
Ucpu:目标cpu的使用率
Java中下面方法获取CPU数目
int Ncpus=Runtime.getRuntime().availableProcessors();
System.out.println(Ncpus);
并发编程网上的一个问题 高并发、任务执行时间短的业务怎样使用线程池?并发不高、任务执行时间长的业务怎样使用线程池?并发高、业务执行时间长的业务怎样使用线程池?
- (1)高并发、任务执行时间短的业务,线程池线程数可以设置为CPU核数+1,减少线程上下文的切换
- (2)并发不高、任务执行时间长的业务要区分开看:
a)假如是业务时间长集中在IO操作上,也就是IO密集型的任务,因为IO操作并不占用CPU,所以不要让所有的CPU闲下来,可以适当加大线程池中的线程数目,让CPU处理更多的业务
b)假如是业务时间长集中在计算操作上,也就是计算密集型任务,这个就没办法了,和(1)一样吧,线程池中的线程数设置得少一些,减少线程上下文的切换 - (3)并发高、业务执行时间长,解决这种类型任务的关键不在于线程池而在于整体架构的设计,看看这些业务里面某些数据是否能做缓存是第一步,增加服务器是第二步,至于线程池的设置,设置参考(2)。最后,业务执行时间长的问题,也可能需要分析一下,看看能不能使用中间件对任务进行拆分和解耦。
线程池的使用:
线程池的关闭
我们可以通过调用线程池的 shutdown 或 shutdownNow 方法来关闭线程池,它们的原理是遍历线程池中的工作线程,然后逐个调用线程的 interrupt 方法来中断线程,所以无法响应中断的任务可能永远无法终止。但是它们存在一定的区别,shutdownNow 首先将线程池的状态设置成 STOP,然后尝试停止所有的正在执行或暂停任务的线程,并返回等待执行任务的列表,而 shutdown 只是将线程池的状态设置成 SHUTDOWN 状态,然后中断所有没有正在执行任务的线程。只要调用了这两个关闭方法的其中一个,isShutdown 方法就会返回 true。当所有的任务都已关闭后,才表示线程池关闭成功,这时调用 isTerminaed 方法会返回 true。至于我们应该调用哪一种方法来关闭线程池,应该由提交到线程池的任务特性决定,通常调用 shutdown 来关闭线程池,如果任务不一定要执行完,则可以调用 shutdownNow。
- shutdown():不会立即终止线程池,而是要等所有任务缓存队列中的任务都执行完后才终止,但再也不会接受新的任务
- shutdownNow():立即终止线程池,并尝试打断正在执行的任务,并且清空任务缓存队列,返回尚未执行的任务