java fork join原理_ForkJoinPool 的使用以及原理

ForkJoinPool 是Java 1.7 引入的一种新的并发框架—— ForkJoin Framework。以下是重要的几点特性：

ForkJoinPool 不是为了替代 ExecutorService，而是它的补充，在某些应用场景下性能比 ExecutorService 更好。(见 Java Tip: When to use ForkJoinPool vs ExecutorService )

ForkJoinPool 主要用于实现“分而治之”的算法，特别是分治之后递归调用的函数，例如 quick sort 等。

ForkJoinPool 最适合的是计算密集型的任务，如果存在 I/O，线程间同步，sleep() 等会造成线程长时间阻塞的情况时，最好配合使用 ManagedBlocker。

ForkJoinPool & ForkJoinTask 概述：

ForkJoinTask：我们要使用 ForkJoin 框架，必须首先创建一个 ForkJoin 任务。它提供在任务中执行 fork() 和 join() 操作的机制，通常情况下我们不需要直接继承 ForkJoinTask 类，而只需要继承它的子类，ForkJoin 框架提供了以下两个子类：

RecursiveAction：用于没有返回结果的任务。

RecursiveTask ：用于有返回结果的任务。

ForkJoinPool ：ForkJoinTask 需要通过 ForkJoinPool 来执行，任务分割出的子任务会添加到当前工作线程所维护的双端队列中，进入队列的头部。当一个工作线程的队列里暂时没有任务时，它会随机从其他工作线程的队列的尾部获取一个任务。

引用：https://www.infoq.cn/article/fork-join-introduction

ForkJoinPool 的使用

比如计算1至1000的正整数之和，使用ForkJoinPool 如何进行并行的计算。

package common.forkjoinpool;

public interface Calculator {

long sumUp(long[] numbers);

}

package common.forkjoinpool;

import java.util.concurrent.ForkJoinPool;

import java.util.concurrent.RecursiveTask;

public class ForkJoinCalculator implements Calculator {

private ForkJoinPool pool;

public ForkJoinCalculator() {

// 也可以使用公用的 ForkJoinPool：

// pool = ForkJoinPool.commonPool()

pool = new ForkJoinPool();

}

@Override

public long sumUp(long[] numbers) {

return pool.invoke(new SumTask(numbers, 0, numbers.length - 1));

}

private static class SumTask extends RecursiveTask {

private long[] numbers;

private int from;

private int to;

public SumTask(long[] numbers, int from, int to) {

this.numbers = numbers;

this.from = from;

this.to = to;

}

@Override

protected Long compute() {

// 当需要计算的数字小于6时，直接计算结果

if (to - from < 6) {

long total = 0;

for (int i = from; i <= to; i++) {

total += numbers[i];

}

return total;

// 否则，把任务一分为二，递归计算

} else {

int middle = (from + to) / 2;

SumTask taskLeft = new SumTask(numbers, from, middle);

SumTask taskRight = new SumTask(numbers, middle + 1, to);

taskLeft.fork();

taskRight.fork();

return taskLeft.join() + taskRight.join();

}

}

}

}

package common.forkjoinpool;

import java.util.stream.LongStream;

public class Main {

public static void main(String[] args) {

long[] numbers = LongStream.rangeClosed(1, 1000).toArray();

Calculator calculator = new ForkJoinCalculator();

System.out.println(calculator.sumUp(numbers)); // 打印结果500500

}

}

这段代码的核心方法是

@Override

protected Long compute() {

// 当需要计算的数字小于6时，直接计算结果

if (to - from < 6) {

long total = 0;

for (int i = from; i <= to; i++) {

total += numbers[i];

}

return total;

// 否则，把任务一分为二，递归计算

} else {

int middle = (from + to) / 2;

SumTask taskLeft = new SumTask(numbers, from, middle);

SumTask taskRight = new SumTask(numbers, middle + 1, to);

taskLeft.fork();

taskRight.fork();

return taskLeft.join() + taskRight.join();

}

}

通过 compute() 方法，分解任务，分而治之。

ForkJoinTask 两种实现类型

ForkJoinTask 继承关系如下，

RecursiveTask 和 RecursiveAction 的区别：

RecursiveAction

它是一种没有任何返回值的任务。只是做一些工作，比如写数据到磁盘，然后就退出了。 一个RecursiveAction可以把自己的工作分割成更小的几块， 这样它们可以由独立的线程或者CPU执行。 我们可以通过继承来实现一个RecursiveAction。

RecursiveTask

它是一种会返回结果的任务。可以将自己的工作分割为若干更小任务，并将这些子任务的执行合并到一个集体结果。 可以有几个水平的分割和合并。

RecursiveAction如下使用方法，

package common.forkjointask;

import java.util.concurrent.ForkJoinPool;

import java.util.concurrent.RecursiveAction;

import java.util.concurrent.TimeUnit;

public class MyRecursiveAction extends RecursiveAction {

/**

* 每个"小任务"最多只打印20个数

*/

private static final int MAX = 20;

private int start;

private int end;

public MyRecursiveAction(int start, int end) {

this.start = start;

this.end = end;

}

@Override

protected void compute() {

//当end-start的值小于MAX时，开始打印

if ((end - start) < MAX) {

for (int i = start; i < end; i++) {

System.out.println(Thread.currentThread().getName() + "-i的值" + i);

}

} else {

// 将大任务分解成两个小任务

int middle = (start + end) / 2;

MyRecursiveAction left = new MyRecursiveAction(start, middle);

MyRecursiveAction right = new MyRecursiveAction(middle, end);

left.fork();

right.fork();

}

}

public static void main(String[] args) throws InterruptedException {

// 创建包含Runtime.getRuntime().availableProcessors()返回值作为个数的并行线程的ForkJoinPool

ForkJoinPool forkJoinPool = new ForkJoinPool();

// 提交可分解的PrintTask任务

forkJoinPool.submit(new MyRecursiveAction(0, 1000));

while (!forkJoinPool.isTerminated()) {

forkJoinPool.awaitTermination(2, TimeUnit.SECONDS);

}

// 关闭线程池

forkJoinPool.shutdown();

}

}

这段代码虽然打印了0-999这一千个数字，但是并不是连续打印的，这是因为程序将这个打印任务进行了分解，分解后的任务会并行执行，所以不会按顺序打印。

ForkJoinPool 简单分析

commonPool的创建 - ForkJoinPool.commPool()

翻看源码，ForkJoinPool 有这么一个 字段，

/**

* Common (static) pool. Non-null for public use unless a static

* construction exception, but internal usages null-check on use

* to paranoically avoid potential initialization circularities

* as well as to simplify generated code.

*/

static final ForkJoinPool common;

这就是 commonPool ，是ForkJoinPool 在类加载时候创建的，

/**

* Creates and returns the common pool, respecting user settings

* specified via system properties.

*/

private static ForkJoinPool makeCommonPool() {

int parallelism = -1;

ForkJoinWorkerThreadFactory factory = null;

UncaughtExceptionHandler handler = null;

try { // ignore exceptions in accessing/parsing properties

String pp = System.getProperty

("java.util.concurrent.ForkJoinPool.common.parallelism");

String fp = System.getProperty

("java.util.concurrent.ForkJoinPool.common.threadFactory");

String hp = System.getProperty

("java.util.concurrent.ForkJoinPool.common.exceptionHandler");

if (pp != null)

parallelism = Integer.parseInt(pp);

if (fp != null)

factory = ((ForkJoinWorkerThreadFactory)ClassLoader.

getSystemClassLoader().loadClass(fp).newInstance());

if (hp != null)

handler = ((UncaughtExceptionHandler)ClassLoader.

getSystemClassLoader().loadClass(hp).newInstance());

} catch (Exception ignore) {

}

if (factory == null) {

if (System.getSecurityManager() == null)

factory = defaultForkJoinWorkerThreadFactory;

else // use security-managed default

factory = new InnocuousForkJoinWorkerThreadFactory();

}

if (parallelism < 0 && // default 1 less than #cores

(parallelism = Runtime.getRuntime().availableProcessors() - 1) <= 0)

parallelism = 1;

if (parallelism > MAX_CAP)

parallelism = MAX_CAP;

return new ForkJoinPool(parallelism, factory, handler, LIFO_QUEUE,

"ForkJoinPool.commonPool-worker-");

}

在makeCommonPool 方法中创建commonPool的时候 调用的构造函数如下，

/**

* Creates a {@code ForkJoinPool} with the given parameters, without

* any security checks or parameter validation. Invoked directly by

* makeCommonPool.

*/

private ForkJoinPool(int parallelism,

ForkJoinWorkerThreadFactory factory,

UncaughtExceptionHandler handler,

int mode,

String workerNamePrefix) {

this.workerNamePrefix = workerNamePrefix;

this.factory = factory;

this.ueh = handler;

this.config = (parallelism & SMASK) | mode;

long np = (long)(-parallelism); // offset ctl counts

this.ctl = ((np << AC_SHIFT) & AC_MASK) | ((np << TC_SHIFT) & TC_MASK);

}

重要参数解释(我们还是结合英文注释来看):

1. parallelism：并行度( the parallelism level)，默认情况下跟我们机器的cpu个数保持一致，使用 Runtime.getRuntime().availableProcessors()可以得到我们机器运行时可用的CPU个数

2. factory：创建新线程的工厂( the factory for creating new threads)。默认情况下使用ForkJoinWorkerThreadFactory defaultForkJoinWorkerThreadFactory。

3. handler：线程异常情况下的处理器，该处理器在线程执行任务时由于某些无法预料到的错误而导致任务线程中断时进行一些处理，默认情况为null。

4. asyncMode：这个参数要注意，在ForkJoinPool中，每一个工作线程都有一个独立的任务队列，asyncMode表示工作线程内的任务队列是采用何种方式进行调度，可以是先进先出FIFO，也可以是后进先出LIFO。如果为true，则线程池中的工作线程则使用先进先出方式进行任务调度，默认情况下是false。

ForkJoinPool 有一个 Async Mode ，效果是工作线程在处理本地任务时也使用 FIFO 顺序。这种模式下的 ForkJoinPool 更接近于是一个消息队列，而不是用来处理递归式的任务。

ForkJoinPool work stealing 算法

ForkJoinPool 的每个工作线程都维护着一个工作队列(WorkQueue)，这是一个双端队列(Deque)，里面存放的对象是任务(ForkJoinTask)。

每个工作线程在运行中产生新的任务(通常是因为调用了 fork())时，会放入工作队列的队尾，并且工作线程在处理自己的工作队列时，使用的是 LIFO 方式，也就是说每次从队尾取出任务来执行。

每个工作线程在处理自己的工作队列同时，会尝试窃取一个任务(或是来自于刚刚提交到 pool 的任务，或是来自于其他工作线程的工作队列)，窃取的任务位于其他线程的工作队列的队首，也就是说工作线程在窃取其他工作线程的任务时，使用的是 FIFO 方式。

在遇到 join() 时，如果需要 join 的任务尚未完成，则会先处理其他任务，并等待其完成。

在既没有自己的任务，也没有可以窃取的任务时，进入休眠。

ForkJoinTask fork 方法

fork() 做的工作只有一件事，既是把任务推入当前工作线程的工作队列里。可以参看以下的源代码：

public final ForkJoinTask fork() {

Thread t;

if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread)

((ForkJoinWorkerThread)t).workQueue.push(this);

else

ForkJoinPool.common.externalPush(this);

return this;

}

ForkJoinTask join 方法

join() 的工作则复杂得多，也是 join() 可以使得线程免于被阻塞的原因——不像同名的 Thread.join()。

检查调用 join() 的线程是否是 ForkJoinThread 线程。如果不是(例如 main 线程)，则阻塞当前线程，等待任务完成。如果是，则不阻塞。

查看任务的完成状态，如果已经完成，直接返回结果。

如果任务尚未完成，但处于自己的工作队列内，则完成它。

如果任务已经被其他的工作线程偷走，则窃取这个小偷的工作队列内的任务(以 FIFO 方式)，执行，以期帮助它早日完成欲 join 的任务。

如果偷走任务的小偷也已经把自己的任务全部做完，正在等待需要 join 的任务时，则找到小偷的小偷，帮助它完成它的任务。

递归地执行第5步。

将上述流程画成序列图的话就是这个样子：

ForkJoinPool.submit 方法

public static void main(String[] args) throws InterruptedException {

// 创建包含Runtime.getRuntime().availableProcessors()返回值作为个数的并行线程的ForkJoinPool

ForkJoinPool forkJoinPool = new ForkJoinPool();

// 提交可分解的PrintTask任务

forkJoinPool.submit(new MyRecursiveAction(0, 1000));

while (!forkJoinPool.isTerminated()) {

forkJoinPool.awaitTermination(2, TimeUnit.SECONDS);

}

// 关闭线程池

forkJoinPool.shutdown();

}

其实除了前面介绍过的每个工作线程自己拥有的工作队列以外，ForkJoinPool 自身也拥有工作队列，这些工作队列的作用是用来接收由外部线程(非 ForkJoinThread 线程)提交过来的任务，而这些工作队列被称为 submitting queue 。

submit() 和 fork() 其实没有本质区别，只是提交对象变成了 submitting queue 而已(还有一些同步，初始化的操作)。submitting queue 和其他 work queue 一样，是工作线程”窃取“的对象，因此当其中的任务被一个工作线程成功窃取时，就意味着提交的任务真正开始进入执行阶段。

=======END=======