Fork/Join框架应用
Fork/Join框架应用
Fork/Join的概念
什么是Fork/Join
Fork/Join框架也叫“分解/合并框架”,通过分治技术将问题拆分成小任务的问题。
Fork/Join 模式有自己的适用范围。如果一个应用能被分解成多个子任务,并且组合多个子任务的结果就能够获得最终的答案,那么这个应用就适合用 Fork/Join 模式来解决
这个框架基于两种操作:
分解(Fork)操作:当需要将一个任务拆分成更小的多个任务时,在框架中执行这些任务
合并操作:当一个主任务等待其创建的多个子任务的完成执行
Fork/Join框架和执行器框架(Executor Framework)主要的区别在于工作窃取算法。
与执行器框架不同,使用join操作让一个主任务等待它所创建的子任务完成,执行这个任务的线程称之为工作者线程(Worker Thread)。
工作者线程寻找其他仍未被执行的任务,开始执行。
工作窃取算法(Work-Stealing-Algorithm)
工作窃取(work-stealing)算法是指某个线程从其他队列里窃取任务来执行。
一个大任务分割为若干个互不依赖的子任务,为了减少线程间的竞争,把这些子任务分别放到不同的队列里,并未每个队列创建一个单独的线程来执行队列里的任务,线程和队列一一对应。
比如线程1负责处理1队列里的任务,2线程负责2队列的。但是有的线程会先把自己队列里的任务干完,而其他线程对应的队列里还有任务待处理。
干完活的线程与其等着,不如帮其他线程干活,于是它就去其他线程的队列里窃取一个任务来执行。
而在这时它们可能会访问同一个队列,所以为了减少窃取任务线程和被窃取任务线程之间的竞争,通常会使用双端队列,被窃取任务线程永远从双端队列的头部拿任务执行,而窃取任务线程永远从双端队列的尾部拿任务执行。
Fork/Join核心组成
Fork/Join框架核心是由下列两个类组成的:
ForkJoinPool:这个类实现了ExecutorService接口和工作窃取算法,它管理工作者线程,并提供任务的状态信息,以及任务的执行信息
ForkJoinTask:这个类是一个将在ForkJoinPool中执行的任务基类
Fork/Join框架提供了在一个任务里执行fork() 和 join()操作的机制和控制任务状态的方法。通常,为了实现Fork/Join任务,需要实现一个以下两个类之一的子类。
RecursiveAction: 用于任务没有返回结果的场景
RecursiveTask: 用于任务有返回结果的场景
ForkJoin入门案列
public class SumTask extends RecursiveTask<Long> {
private long end;
private long start;
private long threshold = 10000_00000;
public SumTask(long start, long end) {
this.start = start;
this.end = end;
}
@Override
protected Long compute() {
if (end - start <= threshold) {
return LongStream.rangeClosed(start, end).sum();
} else {
long mid = (start + end) / 2;
SumTask leftTask = new SumTask(start, mid);
SumTask rightTask = new SumTask(mid + 1, end);
leftTask.fork();
rightTask.fork();
return leftTask.join() + rightTask.join();
}
}
}
public static void main(String[] args) throws ExecutionException, InterruptedException {
ForkJoinPool pool = new ForkJoinPool();
ForkJoinTask<Long> submit = pool.submit(new SumTask(0, 10_0000_0000_0L));
System.out.println(submit.get());
}
本文如有任何问题,请留言指教,以免误导他人