java的fork join任务,java多线程之fork/join框架详解

这个框架的目的主要是更好地利用底层平台上的多核CPU和多处理器来进行处理,解决问题时通常使用分治算法或map/reduce算法来进行.这个框架的名称来源于使用时的两个基本操作fork和join,可以类比于map/reduce中的map和reduce操作.fork操作的作用是把一个大的问题划分成若干个较小的问题.这个划分过程一般是递归进行的,直到得到可以直接进行计算的粒度合适的子问题.在划分时,需要恰当地选取子问题的大小.太大的子问题不利于通过并行方式来提高性能,而太小的子问题则会带来较大的额外开销.每个子问题在计算完成之后,可以得到关于整个问题的部分解.join操作的作用是把这些部分解收集并组织起来,得到最终的完整解.调用join操作的过程也可能是递归进行的,于fork操作相对应.

相对于一般的线程池实现,fork/join框架的优势体现在对其中包含的任务的处理方式上.在一般的线程池中,如果一个线程正在执行的任务由于某些原因无法继续运行,那么该线程会处于等待状态.而在fork/join框架实现中,如果某个子问题由于等待另外一个子问题的完成而无法继续运行.那么处理该子问题的线程会主动寻找其他尚未运行的子问题来执行.这种方式减少了线程的等待时间,提高了性能.为了fork/join框架能够高效运行,在每个子问题的实现中应该避免使用synchronized关键字或其他方式来进行同步,也不应该使用阻塞式I/O操作或过多地访问共享变量.在理想情况下,每个子问题的实现中都应该只进行CPU相关的计算,并且只使用每个问题的内部对象.唯一的同步应该只发生在子问题和创建它的父问题之间.

一个fork/join框架执行的任务由ForkJoinTask类表示.ForkJoinTask类实现了Future接口,可以按照Future接口的方式来使用.在ForkJoinTask类中最重要的两个方法是fork和join,其中fork方法用来以异步方式启动任务的执行,而join方法则等待任务完成并返回执行结果.在创建自己的任务时,最好不要直接继承自ForkJoinTask类,而要继承自ForkJoinTask类的子类RecursiveTask或RecursiveAction类.两者的区别在于RecursiveTask类表示的任务可以返回结果,而RecursiveAction类不行.

在fork/join框架中,任务的执行由ForkJoinPool类的对象来完成.ForkJoinPool类实现了ExecutorService接口,除了执行ForkJoinTask类的对新外,还可以使用一般的Callable和Runnable接口来表示的任务,在ForkJoinPool类的对新中执行的任务大致可以分成两类:一类是通过execute,invoke或submit方法直接提交的任务;另外一类是ForkJoinTask类的对新在执行过程中产生的子任务,并通过fork方法来运行.一般的做法是表示整个问题的ForkJoinTask类的对象用第一类形式提交,而在执行过程中产生的子任务并不需要进行处理,ForkJoinPool类的对新会负责子任务的执行.

import java.io.File;

import java.util.ArrayList;

import java.util.List;

import java.util.concurrent.ForkJoinPool;

import java.util.concurrent.ForkJoinTask;

import java.util.concurrent.RecursiveTask;

/**

*

* 轻量级任务执行框架fork/join详解,使用该框架计算文件目录大小

*

* User: ketqi

* Date: 2013-01-27 17:40

*/

public class ForkJoinDemo {

private static class CalculateTask extends RecursiveTask {

final File file;

public CalculateTask(final File theFile) {

file = theFile;

}

@Override

public Long compute() {

long size = 0;

if (file.isFile()) {

size = file.length();

} else {

final File[] children = file.listFiles();

if (children != null) {

List> taskList = new ArrayList>();

for (final File child : children) {

if (child.isFile()) {

size += child.length();

} else {

taskList.add(new CalculateTask(child));

}

}

//invokeAll方法循环调用task.fork()执行子任务.

for (final ForkJoinTask task : invokeAll(taskList)) {

//task.join()方法等待任务完成并返回执行的结果

size += task.join();

}

}

}

return size;

}

}

public static void main(String[] args) {

long start = System.nanoTime();

long total = new ForkJoinPool().invoke(new CalculateTask(new File("E:\\workspace\\java7")));

long end = System.nanoTime();

System.out.println("Total Size: " + total + "B");

System.out.println("Time taken: " + (end - start) / 1.0e9);

}

}