线程的开发工具类
一、Fork-Join
1.Fork-Join简介
从JDK1.7开始,Java提供Fork/Join框架用于并行执行任务,它的思想就是讲一个大任务分割成若干小任务,最终汇总每个小任务的结果得到这个大任务的结果。这种思想和MapReduce很像(input --> split --> map --> reduce --> output)
主要有两步:
第一、任务切分
第二、结果合并
它的模型大致是这样的:线程池中的每个线程都有自己的工作队列(PS:这一点和ThreadPoolExecutor不同,ThreadPoolExecutor是所有线程公用一个工作队列,所有线程都从这个工作队列中取任务),当自己队列中的任务都完成以后,会从其它线程的工作队列中偷一个任务执行,这样可以充分利用资源。
工作窃取(work-stealing)算法是指某个线程从其他队列里窃取任务来执行。工作窃取的运行流程图如下:
那么为什么需要使用工作窃取算法呢?
假如我们需要做一个比较大的任务,我们可以把这个任务分割为若干互不依赖的子任务,为了减少线程间的竞争,于是把这些子任务分别放到不同的队列里,并为每个队列创建一个单独的线程来执行队列里的任务,线程和队列一一对应,比如A线程负责处理A队列里的任务。但是有的线程会先把自己队列里的任务干完,而其他线程对应的队列里还有任务等待处理。干完活的线程与其等着,不如去帮其他线程干活,于是它就去其他线程的队列里窃取一个任务来执行。而在这时它们会访问同一个队列,所以为了减少窃取任务线程和被窃取任务线程之间的竞争,通常会使用双端队列,被窃取任务线程永远从双端队列的头部拿任务执行,而窃取任务的线程永远从双端队列的尾部拿任务执行。
工作窃取算法的优点是充分利用线程进行并行计算,并减少了线程间的竞争,其缺点是在某些情况下还是存在竞争,比如双端队列里只有一个任务时。并且消耗了更多的系统资源,比如创建多个线程和多个双端队列。
2.分而治之概念
规模为N的问题,N<阈值,直接解决,N>阈值,将N分解为K个小规模子问题,子问题互相对立,与原问题形式相同,将子问题的解合并得到原问题的解
3.Fork-Join基本范式
4.使用方法
ForkJoinTask在Java并发工具包中还有两个子类:RecursiveTask和RecursiveAction。前者代表有返回值的任务,后者代表没有返回值的任务。
Fork/Join框架主要包含三个模块:
1、任务对象:ForkJoinTask
2、执行Fork/Join任务的线程:ForkJoinWorkerThread
3、线程池:ForkJoinPool
ForkJoinPool可以用来执行ForkJoinTask任务,其内部维护了一组线程和任务队列,可以用来高效地执行任务。
其中有两个提交任务的方法:
invoke()同步阻塞
execute()异步执行
我们写两个demo来使用下ForkJoinTask
Fork/Join的同步用法同时演示返回结果值:统计整形数组中所有元素的和
package com.thread.day2;
import java.util.Random;
/**
* 生成指定长度的随机数数组
* @author Hai
*
*/
public class GenerateArr {//数组长度
public static final int ARRAY_LENGTH = 100000000;
public static int[] generateArr() {
//new一个随机数发生器
Random r = new Random();
int[] result = new int[ARRAY_LENGTH];
for(int i=0;i<ARRAY_LENGTH;i++){
//用随机数填充数组
result[i] = r.nextInt(ARRAY_LENGTH*3);
}
return result;
}}
package com.thread.day2;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.RecursiveTask;
/**
* 计算数组之和
* @author Hai
*/
public class RecursiveTaskTest {
private static class SumArrTask extends RecursiveTask<Integer> {
private static final long serialVersionUID = 1L;
private final static int THRESHOLD = 100; //阈值
private int[] arr;
private int beginIndex;//数组起始计算下标
private int endIndex;//数组结束计算下标
public SumArrTask(int[] arr,int beginIndex,int endIndex) {
this.arr = arr;
this.beginIndex = beginIndex;
this.endIndex = endIndex;
}
@Override
protected Integer compute() {
if(endIndex - beginIndex < THRESHOLD){//如果计算量小于1000个,直接计算并返回计算结果
int sum = 0;
for (int i = beginIndex; i <= endIndex; i++) {
sum = arr[i]+sum;
}
return sum;
}else{//若计算量大于1000个,则往下拆分两个子任务计算结果,将子任务的结果相加并返回
int midIndex = (endIndex + beginIndex)/2;
SumArrTask childTask1 = new SumArrTask(arr,beginIndex,midIndex);
SumArrTask childTask2 = new SumArrTask(arr,midIndex+1,endIndex);
invokeAll(childTask1,childTask2);
return childTask1.join()+childTask2.join();
}
}
}
public static void main(String[] args) {
int[] arr = GenerateArr.generateArr();
ForkJoinPool pool = new ForkJoinPool();
SumArrTask sumArrTask = new SumArrTask(arr,0, arr.length-1);
System.out.println("------------------开始计算数组和----------------");
long begin = System.currentTimeMillis();
pool.invoke(sumArrTask);//同步调用 会阻塞主线程
long end = System.currentTimeMillis();
System.out.println("------------------结束计算----------------");
System.out.println("计算总用时:"+(end - begin)+"ms");
System.out.println("数组中的元素之和:"+sumArrTask.join());
}
}
输出结果:
------------------开始计算数组和----------------
------------------结束计算----------------
计算总用时:216ms
数组中的元素之和:-1181029292
Fork/Join的异步用法同时演示不要求返回值:遍历指定目录(含子目录)寻找指定类型文件
package com.thread.day2;
import java.io.File;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.RecursiveAction;
/**
* 寻找某个盘下面所有*.doc文件,并打印出来
* @author Hai
*
*/
public class RecursiveActionTest {
private static class RecursiveTask extends RecursiveAction {
private static final long serialVersionUID = 1L;
private File src;
public RecursiveTask(File src){
this.src = src;
}
@Override
protected void compute() {
if(src.isDirectory()){//如果是目录,则拆分为多个子任务进行寻找
File[] files = src.listFiles();
if(null == files) return;
List<RecursiveTask> tasks = new ArrayList<>(files.length);
for (File file : files) {
RecursiveTask task = new RecursiveTask(file);
tasks.add(task);
}
invokeAll(tasks);
}else{//如果是文件,则判断文件是否.txt结尾
if(src.getName().endsWith(".doc")){
System.out.println("搜索到doc文件:"+src.getAbsolutePath());
}
}
}
}
public static void main(String[] args) throws InterruptedException {
RecursiveTask task = new RecursiveTask(new File("C:/Users/"));
ForkJoinPool pool = new ForkJoinPool();
pool.execute(task);
Thread.sleep(1000);// 主线程业务
System.out.println("主线程执行完毕");
long begin = System.currentTimeMillis();
task.join();//线程阻塞等待任务执行完成
long end = System.currentTimeMillis();
System.out.println("task end and pay time:"+(end - begin)+"ms");
}
}
执行结果
主线程执行完毕
搜索到doc文件:C:\Users\Hai\Documents\QQPCMgr\data\config\TRC02.doc
搜索到doc文件:C:\Users\Hai\Desktop\jvm学习.doc
搜索到doc文件:C:\Users\Hai\Desktop\小海 ‘\个人文件\新建 DOC 文档.doc
搜索到doc文件:C:\Users\Hai\Desktop\性能优化.doc
搜索到doc文件:C:\Users\Hai\Desktop\高并发笔记\~$线程的开发工具类.doc
搜索到doc文件:C:\Users\Hai\Desktop\高并发笔记\一:线程基础,线程之间得共享与协作.doc
搜索到doc文件:C:\Users\Hai\Desktop\高并发笔记\二:线程的开发工具类.doc
搜索到doc文件:C:\Users\Hai\AppData\Roaming\kingsoft\nse\WPS云文档使用简介.doc
搜索到doc文件:C:\Users\Hai\AppData\Roaming\kingsoft\nse\WPS网盘使用帮助.doc
task end and pay time:39860ms
5.相关使用
在JDK8中lamdba有个stream操作parallelStream,底层也是使用ForkJoinPool实现的;
我们可以通过Executors.newWorkStealingPool(int parallelism)快速创建ForkJoinPool线程池,无参默认使用CPU数量的线程数执行任务;
二、常用的开发工具类
1.CountDownLatch
概念:countDownLatch这个类使一个线程等待其他线程各自执行完毕后再执行。
它是通过一个计数器来实现的,计数器的初始值是线程的数量(当然也可以不是线程的数量)。每当一个线程执行完毕后,计数器的值就-1(调用countDown()方法),当计数器的值为0时,表示所有线程都执行完毕,然后在闭锁(调用await()方法的地方)上等待的线程就可以恢复工作了。
作用:是一组线程等待其他的线程完成工作以后在执行,加强版join
await()用来等待,countDown()负责计数器的减一
这里可以通过一道题来更清晰的认识它:
实现一个容器,提供两个方法,一个size,一个add
写两个线程,线程1往自定义容器中添加十个元素,线程2实时监控容器中的数量,在容器中元素个数为5的时候输出并结束线程
package com.thread.day2;
import java.util.LinkedList;
import java.util.List;
import java.util.concurrent.CountDownLatch;
/**
* 实现一个容器,提供两个方法,一个size,一个add
* 写两个线程,线程1往自定义容器中添加十个元素,线程2实时监控容器中的数量,
* 在容器中元素个数为5的时候输出并结束线程
* @author Hai
*
*/
public class CountDownLatchTest {
private static class MyContainer<E>{
// volatile使容器对线程2可见
//因为只有一个线程负责写,所以仅volatile可见就行,不必考虑线程不安全
private volatile List<E> container = new LinkedList<>();
public void add(E e){
container.add(e);
}
public int size(){
return container.size();
}
}
public static void main(String[] args) throws InterruptedException {
CountDownLatch countDownLatch = new CountDownLatch(1);
MyContainer<Integer> container = new MyContainer<Integer>();
new Thread(new Runnable() {
@Override
public void run() {
System.out.println("监控容量线程启动");
try {
if(container.size() != 5 ){
countDownLatch.await();//线程阻塞监控,直到满足条件释放
}
System.out.println("容器中元素个数为5,结束线程,"+container.container.toString());
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("监控容量线程结束");
}
}).start();
Thread.sleep(1000);
new Thread(new Runnable() {
@Override
public void run() {
for (int i=0;i<10;i++) {
if(container.size() == 5){
countDownLatch.countDown();
}
container.add(i);
System.out.println("添加元素:"+i);
try {
Thread.sleep(1000);//睡眠1秒钟是为了延缓添加速度,让监控线程及时输出
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
}).start();
}
}
2.CyclicBarrier
栅栏类似于闭锁,它能阻塞一组线程直到某个事件的发生。栅栏与闭锁的关键区别在于,所有的线程必须同时到达栅栏位置,才能继续执行。闭锁用于等待事件,而栅栏用于等待其他线程。
CyclicBarrier可以使一定数量的线程反复地在栅栏位置处汇集。当线程到达栅栏位置时将调用await方法,这个方法将阻塞直到所有线程都到达栅栏位置。如果所有线程都到达栅栏位置,那么栅栏将打开,此时所有的线程都将被释放,而栅栏将被重置以便下次使用。
类图:
通过类图我们可以看到,CyclicBarrier内部使用了ReentrantLock和Condition两个类。它有两个构造函数:
public CyclicBarrier(int parties) {
this(parties, null);
}
public CyclicBarrier(int parties, Runnable barrierAction) {
if (parties <= 0) throw new IllegalArgumentException();
this.parties = parties;
this.count = parties;
this.barrierCommand = barrierAction;
}
例子:CyclicBarrier默认的构造方法是CyclicBarrier(int parties),其参数表示屏障拦截的线程数量,每个线程使用await()方法告诉CyclicBarrier我已经到达了屏障,然后当前线程被阻塞。
CyclicBarrier的另一个构造函数CyclicBarrier(int parties, Runnable barrierAction),用于线程到达屏障时,优先执行barrierAction,方便处理更复杂的业务场景。
例子:
package com.thread.day2;
import java.util.concurrent.BrokenBarrierException;
import java.util.concurrent.CyclicBarrier;
/**
* 假设探宝节目,4个人探宝,门上有4个锁需要都解开才能打开大门,4个人才能进去探宝,
* 要求门被打开的时候通知节目组
* 那就是4个线程,等待4把锁同时打开,才能继续下面的操作,锁打开的时候通知另一个线程
* @author Hai
*
*/
public class CyclicBarrierTest {
private static CyclicBarrier cyclicBarrier = new CyclicBarrier(4,new Thread(new Runnable() {
//栅栏打开时会回调此方法
@Override
public void run() {
System.out.println("大门已打开");
}
}));
public static void main(String[] args) {
for (int i = 0; i < 4; i++) {
new Thread(new Runnable() {
@Override
public void run() {
try {
System.out.println("到达大门");
Thread.sleep(2000);//延迟时间才能更准确的得出结论
System.out.println(Thread.currentThread().getName()+"已打开锁?");
cyclicBarrier.await();//阻塞等待其他锁被打开
} catch (InterruptedException | BrokenBarrierException e) {
e.printStackTrace();
}
System.out.println("大门已打开,"+Thread.currentThread().getName()+"已进入密室开始探宝");
}
}).start();
}
}
}
3.CountDownLatch和CyCliBarrier区别
CountDownLatch的计数器只能使用一次,而CyclicBarrier的计数器可以使用reset()方法重置,可以使用多次,所以CyclicBarrier能够处理更为复杂的场景; CyclicBarrier还提供了一些其他有用的方法,比如getNumberWaiting()方法可以获得CyclicBarrier阻塞的线程数量,isBroken()方法用来了解阻塞的线程是否被中断;CountDownLatch允许一个或多个线程等待一组事件的产生,而CyclicBarrier用于等待其他线程运行到栅栏位置。
4.Semphore
Semaphore 是 synchronized 的加强版,作用是控制线程的并发数量。就这一点而言,单纯的synchronized 关键字是实现不了的。
package com.thread.day2;
import java.util.concurrent.Semaphore;
public class SemaphoreTest {
private static Semaphore semaphore = new Semaphore(4);//控制只能同时4个线程(不一定是线程)访问资源
public static void main(String[] args) {
for (int i = 0; i < 10; i++) {
new Thread(new Runnable() {
@Override
public void run() {
try {
semaphore.acquire();//表示占用一个线程
Thread.sleep(1000);
System.out.println("--------------------商品信息---------"+System.currentTimeMillis());
semaphore.release();//表示归还1个线程
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}).start();;
}
}
}
输出结果:
--------------------商品信息---------1571568488222
--------------------商品信息---------1571568488222
--------------------商品信息---------1571568488222
--------------------商品信息---------1571568488222
--------------------商品信息---------1571568489222
--------------------商品信息---------1571568489232
--------------------商品信息---------1571568489232
--------------------商品信息---------1571568489232
--------------------商品信息---------1571568490222
--------------------商品信息---------1571568490232
分析输出结果可知,每4个线程的时间戳相同,说明当线程数到达CyCliBarrier指定的数字时,acquire()会阻塞等待资源的回归
https://blog.csdn.net/carson0408/article/details/79475723这篇文章对这个并发工具的解释更好理解一些。
5.Exchanger
Exchanger用于在线程之间交换数据
允许两个线程在某个汇合点交换对象,在某些管道设计时比较有用。Exchanger提供了一个同步点,在这个同步点,一对线程可以交换数据。每个线程通过exchange()方法的入口提供数据给他的伙伴线程,并接收他的伙伴线程提供的数据并返回。当两个线程通过Exchanger交换了对象,这个交换对于两个线程来说都是安全的。Exchanger可以认为是 SynchronousQueue 的双向形式,在运用到遗传算法和管道设计的应用中比较有用。
例子:
package com.thread.day2;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.Exchanger;
public class ExchangerTest {
private static Exchanger<List<Integer>> exchanger = new Exchanger<>();
public static void main(String[] args) {
new Thread(new Runnable() {
@Override
public void run() {
List<Integer> list = new ArrayList<>();
for (int i = 0; i < 5; i++) {
list.add(i);
}
try {
List<Integer> newList = exchanger.exchange(list);
System.out.println(Thread.currentThread().getName()+"原list数据:"+list);
System.out.println(Thread.currentThread().getName()+"交换获取的list数据:"+newList);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}).start();
new Thread(new Runnable() {
@Override
public void run() {
List<Integer> list = new ArrayList<>();
for (int i = 20; i < 25; i++) {
list.add(i);
}
try {
List<Integer> newList = exchanger.exchange(list);
System.out.println(Thread.currentThread().getName()+"原list数据:"+list);
System.out.println(Thread.currentThread().getName()+"交换获取的list数据:"+newList);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}).start();
}
}
输出结果:
Thread-0原list数据:[0, 1, 2, 3, 4]
Thread-1原list数据:[20, 21, 22, 23, 24]
Thread-0交换获取的list数据:[20, 21, 22, 23, 24]
Thread-1交换获取的list数据:[0, 1, 2, 3, 4]
6.Callable, Future, FutureTask
一、Callable 与 Runnable
先说一下java.lang.Runnable吧,它是一个接口,在它里面只声明了一个run()方法:
public interface Runnable {
public abstract void run();
}
由于run()方法返回值为void类型,所以在执行完任务之后无法返回任何结果。
Callable位于java.util.concurrent包下,它也是一个接口,在它里面也只声明了一个方法,只不过这个方法叫做call():
public interface Callable<V> {
/**
* Computes a result, or throws an exception if unable to do so.
*
* @return computed result
* @throws Exception if unable to compute a result
*/
V call() throws Exception;
}
可以看到,这是一个泛型接口,该接口声明了一个名称为call()的方法,同时这个方法可以有返回值V,也可以抛出异常。call()方法返回的类型就是传递进来的V类型。
那么怎么使用Callable呢?一般情况下是配合ExecutorService来使用的,在ExecutorService接口中声明了若干个submit方法的重载版本:
//submit提交一个实现Callable接口的任务,并且返回封装了异步计算结果的Future
<T> Future<T> submit(Callable<T> task);
//submit提交一个实现Runnable接口的任务,并且指定了在调用Future的get方法时返回的result对象。
<T> Future<T> submit(Runnable task, T result);
//submit提交一个实现Runnable接口的任务,并且返回封装了异步计算结果的Future。
Future<?> submit(Runnable task);
因此我们只要创建好我们的线程对象(实现Callable接口或者Runnable接口),然后通过上面3个方法提交给线程池去执行即可。
二、Future
Future就是对于具体的Runnable或者Callable任务的执行结果进行取消、查询是否完成、获取结果。必要时可以通过get方法获取执行结果,该方法会阻塞直到任务返回结果。
Future<V>接口是用来获取异步计算结果的,说白了就是对具体的Runnable或者Callable对象任务执行的结果进行获取(get()),取消(cancel()),判断是否完成等操作。我们看看Future接口的源码:
public interface Future<V> {
boolean cancel(boolean mayInterruptIfRunning);
boolean isCancelled();
boolean isDone();
V get() throws InterruptedException, ExecutionException;
V get(long timeout, TimeUnit unit)
throws InterruptedException, ExecutionException, TimeoutException;
}
在Future接口中声明了5个方法,下面依次解释每个方法的作用:
- cancel方法用来取消任务,如果取消任务成功则返回true,如果取消任务失败则返回false。参数mayInterruptIfRunning表示是否允许取消正在执行却没有执行完毕的任务,如果设置true,则表示可以取消正在执行过程中的任务。如果任务已经完成,则无论mayInterruptIfRunning为true还是false,此方法肯定返回false,即如果取消已经完成的任务会返回false;如果任务正在执行,若mayInterruptIfRunning设置为true,则返回true,若mayInterruptIfRunning设置为false,则返回false;如果任务还没有执行,则无论mayInterruptIfRunning为true还是false,肯定返回true。
- isCancelled方法表示任务是否被取消成功,如果在任务正常完成前被取消成功,则返回 true。
- isDone方法表示任务是否已经完成,若任务完成,则返回true;
- get()方法用来获取执行结果,这个方法会产生阻塞,会一直等到任务执行完毕才返回;
- get(long timeout, TimeUnit unit)用来获取执行结果,如果在指定时间内,还没获取到结果,就直接返回null。
也就是说Future提供了三种功能:
1)判断任务是否完成;
2)能够中断任务;
3)能够获取任务执行结果。
因为Future只是一个接口,所以是无法直接用来创建对象使用的,因此就有了下面的FutureTask。
三、FutureTask
类图如下:
可以看出RunnableFuture继承了Runnable接口和Future接口,而FutureTask实现了RunnableFuture接口。所以它既可以作为Runnable被线程执行,又可以作为Future得到Callable的返回值。
分析:
FutureTask除了实现了Future接口外还实现了Runnable接口,因此FutureTask也可以直接提交给Executor执行。 当然也可以调用线程直接执行(FutureTask.run())。接下来我们根据FutureTask.run()的执行时机来分析其所处的3种状态:
(1)未启动,FutureTask.run()方法还没有被执行之前,FutureTask处于未启动状态,当创建一个FutureTask,而且没有执行FutureTask.run()方法前,这个FutureTask也处于未启动状态。
(2)已启动,FutureTask.run()被执行的过程中,FutureTask处于已启动状态。
(3)已完成,FutureTask.run()方法执行完正常结束,或者被取消或者抛出异常而结束,FutureTask都处于完成状态。
下面我们再来看看FutureTask的方法执行示意图(方法和Future接口基本是一样的,这里就不过多描述了)
分析:
(1)当FutureTask处于未启动或已启动状态时,如果此时我们执行FutureTask.get()方法将导致调用线程阻塞;当FutureTask处于已完成状态时,执行FutureTask.get()方法将导致调用线程立即返回结果或者抛出异常。
(2)当FutureTask处于未启动状态时,执行FutureTask.cancel()方法将导致此任务永远不会执行。当FutureTask处于已启动状态时,执行cancel(true)方法将以中断执行此任务线程的方式来试图停止任务,如果任务取消成功,cancel(...)返回true;但如果执行cancel(false)方法将不会对正在执行的任务线程产生影响(让线程正常执行到完成),此时cancel(...)返回false。当任务已经完成,执行cancel(...)方法将返回false。
最后我们给出FutureTask的两种构造函数:
public FutureTask(Callable<V> callable) {
}
public FutureTask(Runnable runnable, V result) {
}
事实上,FutureTask是Future接口的一个唯一实现类。
例子:
package com.thread.day2;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.concurrent.Callable;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.FutureTask;
public class FutureTaskTest {
public static void main(String[] args) throws InterruptedException, ExecutionException {
FutureTask<Integer> futureTask = new FutureTask<Integer>(new Callable<Integer>() {
@Override
public Integer call() throws Exception {
Thread.sleep(2000);
return 1;
}
});
SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMddHHmmss");
new Thread(futureTask).start();
System.out.println("调用get()方法前时间:"+sdf.format(new Date()));
Integer result = futureTask.get();
System.out.println("调用get()方法后时间:"+sdf.format(new Date())+"执行结果:"+result);
}
}
输出结果:
调用get()方法前时间:20191020194832
调用get()方法后时间:20191020194834执行结果:1
实现Runnable接口和实现Callable接口的区别:
1、Runnable是自从java1.1就有了,而Callable是1.5之后才加上去的。
2、Callable规定的方法是call(),Runnable规定的方法是run()。
3、Callable的任务执行后可返回值,而Runnable的任务是不能返回值(是void)。
4、call方法可以抛出异常,run方法不可以。
5、运行Callable任务可以拿到一个Future对象,表示异步计算的结果。它提供了检查计算是否完成的方法,以等待计算的完成,并检索计算的结果。通过Future对象可以了解任务执行情况,可取消任务的执行,还可获取执行结果。
6、加入线程池运行,Runnable使用ExecutorService的execute方法,Callable使用submit方法。