单机版MapReduce-Fork-Join

什么是Fork/join

Fork/Join框架是Java 7提供的一个用于并行执行任务的框架，是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架。

工作原理

如图，首先把一个大任务分割成三个子任务，如果分割出来的子任务比较大的情况下又将分割出来的子任务进行二次分割，然后将各个任务的最终结果进行汇总就得到大任务的结果。每一个任务可以通过一个线程去执行，充分利用了多核心CPU的优势来提升并行处理的能力。

在Fork/Join里面有一个叫做工作窃取的概念，这里提一下，如下图。某个线程可以从其他队列中去获取任务来执行。假设现在有两个线程来处理一个任务，这个任务分割成了8个小任务，分别放到了两个队列当中。线程1负责A队列，线程2负责B队列，每个线程从队列得到头部和尾部都可以获取任务来执行，当线程1执行完了队列A的所有任务，它还可以从队列B的尾部（避免竞争，所以从尾部窃取）来窃取任务来执行。这样的好处可以充分利用线程，缩短任务执行时间，提高效率。缺点就是如果只有一个任务，还是会存在两个线程取竞争，并且窃取的算法也会消耗一定资源。

代码示例

public class ForkJoinDemo extends RecursiveTask<Integer> {
    //计算1...10的累加
    // 每个任务的大小2
    private final int THREHOLD = 2;
    private int start;
    private int end;

    public ForkJoinDemo(int start, int end) {
        this.start = start;
        this.end = end;
    }

    @Override
    protected Integer compute() {
        int sum = 0;
        boolean canCompute = (end - start) <= THREHOLD;
        if (canCompute) {// 不能分割
            // 输出看进行了多少次分割任务
            System.out.println("start:"+start+"-end:"+end);
            for (int i = start; i <= end; i++) {
                sum += i;
            }
        } else {
            int middle = (start + end) / 2;
            ForkJoinDemo left = new ForkJoinDemo(start, middle);
            ForkJoinDemo right = new ForkJoinDemo(middle + 1, end);
            left.fork();
            right.fork();
            int leftResult = left.join();
            int rightResult = right.join();
            // 类似于递归，不同的是每个子任务是通过线程去处理的
            sum = leftResult + rightResult;
        }
        return sum;
    }

    public static void main(String[] args) throws ExecutionException, InterruptedException {
        ForkJoinPool forkJoinPool = new ForkJoinPool();
        ForkJoinDemo forkJoinDemo = new ForkJoinDemo(1,10);
        ForkJoinTask<Integer> result = forkJoinPool.submit(forkJoinDemo);
        System.out.println("result:"+result.get());
    }
}

运行结果：