[Q&A] 为什么使用线程池?
Thread是一个重量级的资源,创建、启动以及销毁都是比较耗费系统资源的。线程池主要目的是为了重复利用线程,提高系统效率
。
--------------------------------------------------------------------读书笔记摘自书名:Java高并发编程详解:多线程与架构设计 作者:汪文君
第一:降低资源消耗
。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。
第二:提高响应速度
。当任务到达时,任务可以不需要等到线程创建就能立即执行。
第三:提高线程的可管理性
。线程池可以进行统一分配、调优和监控。
--------------------------------------------------------------------------读书笔记摘自 书名:Java并发编程的艺术 作者:方腾飞;魏鹏;程晓明
[Q&A] 线程池的实现原理
1、所谓线程池,通俗的理解就是有一个池子,里面存放着已经创建好的线程
,当有任务提交给线程池执行时,池子中的某个线程会主动执行该任务
。
2、如果池子中的线程数量不够应付数量众多的任务时,则需要自动扩充新的线程到池子中,但是该数量是有限的,就好比池塘的水界线
一样。
3、当任务比较少的时候,池子中的线程能够自动回收,释放资源。
4、为了能够异步地提交任务和缓存未被处理的任务,需要有一个任务队列
-----------------------------------------------------------------------------读书笔记摘自书名:Java高并发编程详解:多线程与架构设计 作者:汪文君
[Q&A] 如何合理地配置线程池?
# 如果设置线程池数量太小
如果同一时间有大量任务/请求需要处理,可能大量任务堆积在任务队列导致OOM,或者会导致任务队列满了之后任务无法处理的情况。CPU 根本没有得到充分利用。
# 如果设置线池程数量太大
大量线程可能会同时在争取CPU资源 ,这样会导致大量的上下文切换,从而增加线程的执行时间,影响了整体执行效率。
----------------------------------------------------------------------
# 从以下几个角度分析任务特性
任务性质 : CPU密集型任务、IO密集型任务、混合型任务。
任务优先级 : 高、中和低。
任务执行时间 : 长、中和短。
任务依赖性 : 是否依赖其他系统资源,如数据库连接。
# 1、任务性质
Runtime.getRuntime().availableProcessors()方法获得当前设备的CPU个数。
CPU密集型 任务应配置尽可能小的线程,如 Ncpu+1 个线程的线程池。
# 比CPU核心数多出来的一个线程是为了防止任务暂停而带来的影响。一旦任务暂停,CPU就会处于空闲状态,而在这种情况下多出来的 1 个线程就可以充分利用CPU的空闲时间。
IO密集型 任务线程并不是一直在执行任务,则应配置尽可能多的线程,如2*Ncpu。
# 这种任务应用起来,系统会用大部分的时间来处理I/O交互,而线程在处理I/O的时间段内不会占用CPU来处理,所以这时就可以将CPU交出给其它线程使用。因此在I/O密集型任务的应用中,我们可以多配置一些线程。
混合型的任务 如果可以拆分,将其拆分成一个CPU密集型任务和一个IO密集型任务,
只要这两个任务执行的时间相差不是太大,那么分解后执行的吞吐量将高于串行执行的吞吐量。如果这两个任务执行时间相差太大,则没必要进行分解。
# CPU密集型任务:
简单理解就是利用CPU计算能力的任务。比如你在内存中对大量数据进行排序。
# IO 密集型任务:
这类任务的特点是CPU计算耗费时间相比于等待IO操作完成的时间来说很少,大部分时间都花在了等待 IO 操作完成上。比如单凡涉及到网络读取,文件读取这类都是。
# 2、优先级
优先级不同的任务可以使用优先级队列PriorityBlockingQueue来处理。它可以让优先级高的任务先执行。
注意 如果一直有优先级高的任务提交到队列里,那么优先级低的任务可能永远不能执行。
# 3、执行时间
执行时间不同的任务可以交给不同规模的线程池来处理,或者可以使用优先级队列,让执行时间短的任务先执行。
# 4、依赖性
依赖数据库连接池的任务,因为线程提交SQL后需要等待数据库返回结果,等待的时间越长,则CPU空闲时间就越长,那么线程数应该设置得越大,这样才能更好地利用CPU。
----------------------------------------------------------------------
# 建议使用有界队列。
有界队列能增加系统的稳定性和预警能力,可以根据需要设大一点儿,比如 几千。
[Q&A] 如何选择合适的线程数目呢?
《Java并发编程实战》(http://mng.bz/979c)一书中,Brian Goetz和合著者们为线程池大小的优化提供了不少中肯的建议。这非常重要,如果线程池中线程的数量过多,最终它们会竞争稀缺的处理器和内存资源,浪费大量的时间在上下文切换上。反之,如果线程的数目过少,正如你的应用所面临的情况,处理器的一些核可能就无法充分利用。Brian Goetz建议,线程池大小与处理器的利用率之比可以使用下面的公式进行估算:
N(threads) = N(CPU) * U(CPU) * (1 + W/C)
其中:
·N(CPU)
是处理器的核的数目,可以通过Runtime.getRuntime().availableProcessors()
得到
·U(CPU)
是期望的CPU利用率(该值应该介于0和1之间)(uage
)
·W/C
是等待时间与计算时间的比率(wait/calculate
)
公式理解:
方式1:C / (C+W) = N(CPU) * U(CPU) / N(threads)
→ 计算时间占比 = 有效CPU在线程数中的占比
例如:希望CPU计算时间占比80%,使用率为60% → N(threads) = (16 * 0.6 )/ 0.8 = 12
[Q&A] 线程极限阈值数计算?
CPU利用率是100%,计算时间占比1%,估算出N(threads) = (16 * 1 )/ 0.01 = 1600
实际操作中,如果你创建的线程数比商店的数目更多,反而是一种浪费,因为这样做之后,你线程池中的有些线程根本没有机会被使用。出于这种考虑,我们建议你将执行器使用的线程数,与你需要查询的商店数目设定为同一个值,这样每个商店都应该对应一个服务线程。不过,为了避免发生由于商店的数目过多导致服务器超负荷而崩溃,你还是需要设置一个上限,比如100个线程。代码清单如下所示。
private final Executor executor = Executors.newFixedThreadPool(Math.min(shops.size(), 100), ExecuterThreadFactoryBuilder.build("searcher-thread-%d"));
-----------------------------------------------------------------------------读书笔记摘自 《Java8 实战》第11章 CompletableFuture:组合式异步编程
[Q&A] 线程池的监控?
# 如果在系统中大量使用线程池,则有必要对线程池进行监控,方便在出现问题时,可以根据线程池的使用状况快速定位问题。
# 可以通过线程池提供的参数进行监控
taskCount: 线程池需要执行的任务数量。
completedTaskCount: 线程池在运行过程中已完成的任务数量,小于或等于taskCount。
largestPoolSize: 线程池里曾经创建过的最大线程数量。通过这个数据可以知道线程池是否曾经满过。
getPoolSize: 线程池的线程数量。如果线程池不销毁的话,线程池里的线程不会自动销毁,所以这个大小只增不减。
getActiveCount: 获取活动的线程数。
# 通过扩展线程池进行监控。
可以通过继承线程池来自定义线程池,重写线程池的beforeExecute、afterExecute和terminated方法,也可以在任务执行前、执行后和线程池关闭前执行一些代码来进行监控。
例如,监控任务的平均执行时间、最大执行时间和最小执行时间等。这几个方法在线程池里是空方法。
-----------------------------------------------------------------------------读书笔记摘自 书名:Java并发编程的艺术 作者:方腾飞;魏鹏;程晓明