Fork/Join 设计解析

介绍:

Fork/Join并行是获得良好的并行性能的最简单高效的设计技术。他是分治(Divide-and-Conquer)算法的的并行实现,它的典型应用形式:

Result solve(Problem problem) {
  if (problem is small)
	directly solve problem
  else {
	split problem into independent parts
	fork new subtasks to solve each part
	join all subtasks
	compose result from subresults
	}
}

fork操作启动一个新的并行fork/join子任务,join操作则导致当前线程等待直到子任务执行完成。fork/join算法,就像其它分治算法一样,几乎经常是不断的递归,重复划分子任务——直到它们的规模小到能够使用简单、简短的串行方法完成。


思想:

    1、分而治之,将大任务分解为小任务,再合并最终结果

    2、工作窃取调度策略

            

        (1)每个worker线程利用它自己的调度队列维护可执行任务。
        (2)队列是双端的,支持LIFO(last-in-first-out)也支持FIFO(first-in-first-out)。
        (3)一个任务fork的子任务,只会push到它所在线程的队列。
        (4)工作线程使用LIFO通过pop处理它自己队列中的线程。
        (5)当线程自己没有待处理任务时,它尝试去随机读取(窃取)一个worker线程的工作队列任务(使用FIFO)。
        (6)当线程进入join操作,它开始处理其它线程的任务(自己的已经处理完了),直到目标任务完成(通过isDone方法)。因此,所有任务都无阻塞的完成了。

        (7)当一个工作线程没有任务了,并且尝试从其它线程处窃取也失败了,它让出资源(通过使用yields, sleeps或者其它优先级调整)并且随后会再次激活,直到所有工作线程都空闲了——此时,它们都阻塞在等待另一个顶层线程的调用。


两种接口:

    RecursiveTask: 带返回值,底层用的是Callable接口

    RecursiveAction:无返回值,Runnable接口


ForkJoinPool源码中重要字段:

eventCount三种含义:
   1、线程被挂起次数
   2、小于零表示没有被激活状态
   3、标明为第几个工作线程
nextWait: 由于fork/join维护着一个挂起线程链,这个链是栈结构,本字段就是遍历挂起栈用的
qlock: 起到锁的作用
top、base : 分别是存储工作线程队列的头和尾
poolIndex: 指的是工作线程在队列中的下标


核心方法scan流程解析:

    


设计亮点:

    1、互帮互助的设计思路

    2、多字段打包操作


示例代码:

完成累加运算

import java.util.ArrayList;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.ForkJoinTask;
import java.util.concurrent.RecursiveTask;

/**
 * @Author: Allen
 * @Description:    用ForkJoinPool实现累加操作
 * @Date: Created in 12:42 2018/2/27
 * @Modify By:
 */
public class CountTask extends RecursiveTask<Long> {
    private static final int THRESHOLD = 10000;
    private long start;
    private long end;

    public CountTask(long start,long end){
        this.start = start;
        this.end = end;
    }

    @Override
    protected Long compute() {
        long sum = 0;
        boolean canCompute = (end-start)<THRESHOLD;
        if (canCompute) // 是否可以再分
            for (long i = start; i <= end; i++) {
                sum+=i;
            }
        else{
            long step = (end+start)/100000;                    // 分成100个任务
            ArrayList<CountTask> tasks = new ArrayList<>(); // 任务数组
            long pos = step;    // 每个任务的大小
            for (int i = 0; i < 100000; i++) {
                long lastOne = pos+step;            // 根据任务大小获得一个任务
                if (lastOne > end) lastOne = end;   // 上限超出的话就设置上限
                CountTask subTask = new CountTask(pos,lastOne); // 新建一个任务
                System.out.println("new task inf : "+pos+"\t"+lastOne);
                pos+=step+1;        // 更新下一个任务的初始位置
                tasks.add(subTask); // 将任务都加入到任务数组中
                subTask.fork();     // 执行任务
            }
            // 获取累加值
            for (CountTask t :
                    tasks) {
                sum+=t.join();
            }
        }
        return sum;
    }

    public static void main(String[] args) {
        ForkJoinPool forkJoinPool = new ForkJoinPool();     // 默认是用cpu的最大核数去工作
        CountTask task = new CountTask(0,200000000L);
        ForkJoinTask<Long> result = forkJoinPool.submit(task);  // 提交一个任务
        try {
            long res = result.get();
            System.out.println("sum= "+res);
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值