https://gitee.com/moxi159753/LearningNotes/tree/master/%E6%A0%A1%E6%8B%9B%E9%9D%A2%E8%AF%95/JUC
一、 线程池
获取多线程的方法,我们都知道有三种,还有一种是实现Callable接口
实现Runnable接口
实现Callable接口
实例化Thread类
使用线程池获取
/**
* 实现Runnable接口
*/
class MyThread implements Runnable {
@Override
public void run() {
}
}
/**
* Callable有返回值
* 批量处理的时候,需要带返回值的接口(例如支付失败的时候,需要返回错误状态)
*
*/
class MyThread2 implements Callable<Integer> {
@Override
public Integer call() throws Exception {
System.out.println("come in Callable");
return 1024;
}
}
// FutureTask:实现了Runnable接口,构造函数又需要传入 Callable接口
// 这里通过了FutureTask接触了Callable接口
FutureTask<Integer> futureTask = new FutureTask<>(new MyThread2());
Thread t1 = new Thread(futureTask, "aaa");
t1.start();
// 输出FutureTask的返回值
System.out.println("result FutureTask " + futureTask.get());
ThreadPoolExecutor
为什么用线程池
线程池做的主要工作就是控制运行的线程的数量,处理过程中,将任务放入到队列中,然后线程创建后,启动这些任务,如果线程数量超过了最大数量的线程排队等候,等其它线程执行完毕,再从队列中取出任务来执行。
它的主要特点为:线程复用、控制最大并发数、管理线程
线程池中的任务是放入到阻塞队列中的
线程池的好处
多核处理的好处是:省略的上下文的切换开销
原来我们实例化对象的时候,是使用 new关键字进行创建,到了Spring后,我们学了IOC依赖注入,发现Spring帮我们将对象已经加载到了Spring容器中,只需要通过@Autowrite注解,就能够自动注入,从而使用
因此使用多线程有下列的好处
降低资源消耗。通过重复利用已创建的线程,降低线程创建和销毁造成的消耗
提高响应速度。当任务到达时,任务可以不需要等到线程创建就立即执行
提高线程的可管理性。线程是稀缺资源,如果无线创建,不仅会消耗系统资源,还会降低系统的稳定性,使用线程池可以进行统一的分配,调优和监控
架构说明
Java中线程池是通过Executor框架实现的,该框架中用到了Executor,Executors(代表工具类),ExecutorService,ThreadPoolExecutor这几个类。
创建线程池
Executors.newFixedThreadPool(int i) :创建一个拥有 i 个线程的线程池
执行长期的任务,性能好很多
创建一个定长线程池,可控制线程数最大并发数,超出的线程会在队列中等待
Executors.newSingleThreadExecutor:创建一个只有1个线程的 单线程池
一个任务一个任务执行的场景
创建一个单线程化的线程池,它只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序执行
Executors.newCacheThreadPool(); 创建一个可扩容的线程池
执行很多短期异步的小程序或者负载教轻的服务器
创建一个可缓存线程池,如果线程长度超过处理需要,可灵活回收空闲线程,如无可回收,则新建新线程
Executors.newScheduledThreadPool(int corePoolSize):线程池支持定时以及周期性执行任务,创建一个corePoolSize为传入参数,最大线程数为整形的最大数的线程池
// 一池5个处理线程(用池化技术,一定要记得关闭)
ExecutorService threadPool = Executors.newFixedThreadPool(5);
// 创建一个只有一个线程的线程池
ExecutorService threadPool = Executors.newSingleThreadExecutor();
// 创建一个拥有N个线程的线程池,根据调度创建合适的线程
ExecutorService threadPool = Executors.newCacheThreadPool();
/**
* 第四种获取 / 使用 Java多线程的方式,通过线程池
* @create: 2020-03-17-15:59
*/
public class MyThreadPoolDemo {
public static void main(String[] args) {
// Array Arrays(辅助工具类)
// Collection Collections(辅助工具类)
// Executor Executors(辅助工具类)
// 一池5个处理线程(用池化技术,一定要记得关闭)
ExecutorService threadPool = Executors.newFixedThreadPool(5);
// 模拟10个用户来办理业务,每个用户就是一个来自外部请求线程
try {
// 循环十次,模拟业务办理,让5个线程处理这10个请求
for (int i = 0; i < 10; i++) {
final int tempInt = i;
threadPool.execute(() -> {
System.out.println(Thread.currentThread().getName() + "\t 给用户:" + tempInt + " 办理业务");
});
}
} catch (Exception e) {
e.printStackTrace();
} finally {
threadPool.shutdown();
}
}
}
底层实现
我们通过查看源码,点击了Executors.newSingleThreadExecutor 和 Executors.newFixedThreadPool能够发现底层都是使用了ThreadPoolExecutor
我们可以看到线程池的内部,还使用到了LinkedBlockingQueue 链表阻塞队列
同时在查看Executors.newCacheThreadPool 看到底层用的是 SynchronousBlockingQueue阻塞队列
最后查看一下,完整的三个创建线程的方法
线程池在创建的时候,一共有7大参数
corePoolSize:核心线程数,线程池中的常驻核心线程数
在创建线程池后,当有请求任务来之后,就会安排池中的线程去执行请求任务,近似理解为今日当值线程
当线程池中的线程数目达到corePoolSize后,就会把到达的队列放到缓存队列中
maximumPoolSize:线程池能够容纳同时执行的最大线程数,此值必须大于等于1、
相当有扩容后的线程数,这个线程池能容纳的最多线程数
keepAliveTime:多余的空闲线程存活时间
当线程池数量超过corePoolSize时,当空闲时间达到keepAliveTime值时,多余的空闲线程会被销毁,直到只剩下corePoolSize个线程为止
默认情况下,只有当线程池中的线程数大于corePoolSize时,keepAliveTime才会起作用
unit:keepAliveTime的单位
workQueue:任务队列,被提交的但未被执行的任务(类似于银行里面的候客区)
LinkedBlockingQueue:链表阻塞队列
SynchronousBlockingQueue:同步阻塞队列
threadFactory:表示生成线程池中工作线程的线程工厂,用于创建线程池 一般用默认即可
handler:拒绝策略,表示当队列满了并且工作线程大于线程池的最大线程数(maximumPoolSize3)时,如何来拒绝请求执行的Runnable的策略
阻塞队列满了后,开启最大核心数,6 7 8加塞到新开启的窗口
拒绝策略
以下所有拒绝策略都实现了RejectedExecutionHandler接口
AbortPolicy:默认,直接抛出RejectedExcutionException异常,阻止系统正常运行
DiscardPolicy:直接丢弃任务,不予任何处理也不抛出异常,如果运行任务丢失,这是一种好方案
CallerRunsPolicy:该策略既不会抛弃任务,也不会抛出异常,而是将某些任务回退到调用者
DiscardOldestPolicy:抛弃队列中等待最久的任务,然后把当前任务加入队列中尝试再次提交当前任务
文字说明
在创建了线程池后,等待提交过来的任务请求
当调用execute()方法添加一个请求任务时,线程池会做出如下判断
如果正在运行的线程池数量小于corePoolSize,那么马上创建线程运行这个任务
如果正在运行的线程数量大于或等于corePoolSize,那么将这个任务放入队列
如果这时候队列满了,并且正在运行的线程数量还小于maximumPoolSize,那么还是创建非核心线程like运行这个任务;
如果队列满了并且正在运行的线程数量大于或等于maximumPoolSize,那么线程池会启动饱和拒绝策略来执行
当一个线程完成任务时,它会从队列中取下一个任务来执行
当一个线程无事可做操作一定的时间(keepAliveTime)时,线程池会判断:
如果当前运行的线程数大于corePoolSize,那么这个线程就被停掉
所以线程池的所有任务完成后,它会最终收缩到corePoolSize的大小
以顾客去银行办理业务为例,谈谈线程池的底层工作原理
最开始假设来了两个顾客,因为corePoolSize为2,因此这两个顾客直接能够去窗口办理
后面又来了三个顾客,因为corePool已经被顾客占用了,因此只有去候客区,也就是阻塞队列中等待
后面的人又陆陆续续来了,候客区可能不够用了,因此需要申请增加处理请求的窗口,这里的窗口指的是线程池中的线程数,以此来解决线程不够用的问题
假设受理窗口已经达到最大数,并且请求数还是不断递增,此时候客区和线程池都已经满了,为了防止大量请求冲垮线程池,已经需要开启拒绝策略
临时增加的线程会因为超过了最大存活时间,就会销毁,最后从最大数削减到核心数
手写线程池
public static void main(String[] args) {
// 手写线程池
final Integer corePoolSize = 2;
final Integer maximumPoolSize = 5;
final Long keepAliveTime = 1L;
// 自定义线程池,只改变了LinkBlockingQueue的队列大小
ExecutorService executorService = new ThreadPoolExecutor(
corePoolSize,
maximumPoolSize,
keepAliveTime,
TimeUnit.SECONDS,
new LinkedBlockingQueue<>(3),
Executors.defaultThreadFactory(),
new ThreadPoolExecutor.AbortPolicy());
// 模拟10个用户来办理业务,每个用户就是一个来自外部请求线程
try {
// 循环十次,模拟业务办理,让5个线程处理这10个请求
for (int i = 0; i < 10; i++) {
final int tempInt = i;
executorService.execute(() -> {
System.out.println(Thread.currentThread().getName() + "\t 给用户:" + tempInt + " 办理业务");
});
}
} catch (Exception e) {
e.printStackTrace();
} finally {
executorService.shutdown();
}
}
#直接抛异常的拒绝策略
pool-1-thread-1 给用户:0 办理业务
pool-1-thread-4 给用户:6 办理业务
pool-1-thread-5 给用户:7 办理业务
pool-1-thread-3 给用户:5 办理业务
pool-1-thread-2 给用户:1 办理业务
pool-1-thread-5 给用户:4 办理业务
pool-1-thread-1 给用户:2 办理业务
pool-1-thread-4 给用户:3 办理业务
java.util.concurrent.RejectedExecutionException: Task com.mahan.es.util.DateUtil$$Lambda$1/1101288798@6f75e721 rejected from java.util.concurrent.ThreadPoolExecutor@69222c14[Running, pool size = 5, active threads = 5, queued tasks = 0, completed tasks = 2]
at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2047)
at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:823)
at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1369)
at com.mahan.es.util.DateUtil.main(DateUtil.java:53)
采用CallerRunsPolicy拒绝策略
当我们更好其它的拒绝策略时,采用CallerRunsPolicy拒绝策略,也称为回退策略,就是把任务丢回原来的请求开启线程着,我们看运行结果
pool-1-thread-1 给用户:0 办理业务
pool-1-thread-5 给用户:7 办理业务
pool-1-thread-4 给用户:6 办理业务
main 给用户:8 办理业务
pool-1-thread-3 给用户:5 办理业务
pool-1-thread-2 给用户:1 办理业务
pool-1-thread-3 给用户:9 办理业务
pool-1-thread-4 给用户:4 办理业务
pool-1-thread-5 给用户:3 办理业务
pool-1-thread-1 给用户:2 办理业务
我们发现,输出的结果里面出现了main线程,因为线程池出发了拒绝策略,把任务回退到main线程,然后main线程对任务进行处理
采用 DiscardPolicy 拒绝策略
pool-1-thread-1 给用户:0 办理业务
pool-1-thread-3 给用户:5 办理业务
pool-1-thread-1 给用户:2 办理业务
pool-1-thread-2 给用户:1 办理业务
pool-1-thread-1 给用户:4 办理业务
pool-1-thread-5 给用户:7 办理业务
pool-1-thread-4 给用户:6 办理业务
pool-1-thread-3 给用户:3 办理业务
采用DiscardPolicy拒绝策略会,线程池会自动把后面的任务都直接丢弃,也不报异常,当任务无关紧要的时候,可以采用这个方式
采用DiscardOldestPolicy拒绝策略
pool-1-thread-1 给用户:0 办理业务
pool-1-thread-4 给用户:6 办理业务
pool-1-thread-1 给用户:4 办理业务
pool-1-thread-3 给用户:5 办理业务
pool-1-thread-2 给用户:1 办理业务
pool-1-thread-1 给用户:9 办理业务
pool-1-thread-4 给用户:8 办理业务
pool-1-thread-5 给用户:7 办理业务
这个策略和刚刚差不多,会把最久的队列中的任务替换掉
线程池的合理参数
#获取当前机器核数
System.out.println(Runtime.getRuntime().availableProcessors());
生产环境中如何配置 corePoolSize 和 maximumPoolSize
这个是根据具体业务来配置的,分为CPU密集型和IO密集型
CPU密集型
CPU密集的意思是该任务需要大量的运算,而没有阻塞,CPU一直全速运行
CPU密集任务只有在真正的多核CPU上才可能得到加速(通过多线程)
而在单核CPU上,无论你开几个模拟的多线程该任务都不可能得到加速,因为CPU总的运算能力就那些
CPU密集型任务配置尽可能少的线程数量:
一般公式:CPU核数 + 1个线程数
IO密集型
由于IO密集型任务线程并不是一直在执行任务,则可能多的线程,如 CPU核数 * 2
IO密集型,即该任务需要大量的IO操作,即大量的阻塞
在单线程上运行IO密集型的任务会导致浪费大量的CPU运算能力花费在等待上
所以IO密集型任务中使用多线程可以大大的加速程序的运行,即使在单核CPU上,这种加速主要就是利用了被浪费掉的阻塞时间。
IO密集时,大部分线程都被阻塞,故需要多配置线程数:
参考公式:CPU核数 / (1 - 阻塞系数) 阻塞系数在0.8 ~ 0.9左右
例如:8核CPU:8/ (1 - 0.9) = 80个线程数
2. 死锁编码及定位分析
死锁是指两个或多个以上的进程在执行过程中,因争夺资源而造成一种互相等待的现象,若无外力干涉那他们都将无法推进下去。如果资源充足,进程的资源请求都能够得到满足,死锁出现的可能性就很低,否则就会因争夺有限的资源而陷入死锁。
/**
* 死锁小Demo
* 死锁是指两个或多个以上的进程在执行过程中,
* 因争夺资源而造成一种互相等待的现象,
* 若无外力干涉那他们都将无法推进下去
* @create: 2020-03-18-17:58
*/
import java.util.concurrent.TimeUnit;
/**
* 资源类
*/
class HoldLockThread implements Runnable{
private String lockA;
private String lockB;
// 持有自己的锁,还想得到别人的锁
public HoldLockThread(String lockA, String lockB) {
this.lockA = lockA;
this.lockB = lockB;
}
@Override
public void run() {
synchronized (lockA) {
System.out.println(Thread.currentThread().getName() + "\t 自己持有" + lockA + "\t 尝试获取:" + lockB);
try {
TimeUnit.SECONDS.sleep(2);
} catch (InterruptedException e) {
e.printStackTrace();
}
synchronized (lockB) {
System.out.println(Thread.currentThread().getName() + "\t 自己持有" + lockB + "\t 尝试获取:" + lockA);
}
}
}
}
public class DeadLockDemo {
public static void main(String[] args) {
String lockA = "lockA";
String lockB = "lockB";
new Thread(new HoldLockThread(lockA, lockB), "t1").start();
new Thread(new HoldLockThread(lockB, lockA), "t2").start();
}
}
运行结果,main线程无法结束
t1 自己持有lockA 尝试获取:lockB
t2 自己持有lockB 尝试获取:lockA
排查死锁
idea窗口运行 jps -l
在使用jstack查看堆栈信息
jstack 13680 # 后面参数是 jps输出的该类的pid
Java stack information for the threads listed above:
===================================================
"t2":
at com.mahan.analyse.util.study.HoldLockThread.run(DeadLockDemo.java:36)
- waiting to lock <0x000000076c717ca8> (a java.lang.String)
- locked <0x000000076c717ce0> (a java.lang.String)
at java.lang.Thread.run(Thread.java:748)
"t1":
at com.mahan.analyse.util.study.HoldLockThread.run(DeadLockDemo.java:36)
- waiting to lock <0x000000076c717ce0> (a java.lang.String)
- locked <0x000000076c717ca8> (a java.lang.String)
at java.lang.Thread.run(Thread.java:748)
Found 1 deadlock.
通过查看最后一行,我们看到 Found 1 deadlock,即存在一个死锁