嵌套并行

OpenMP中不建议使用并行嵌套，如果一个并行计算中的某个线程遇到了另外一个并行分支，程序运行将会变得不稳定。将一个完整的工作任务通过一组并行线程分成若干小任务，每个线程只执行指定给它的那段代码，并没用多余的线程去做其他的工作，即使并行计算中正在运行的某个线程遇到了一个新的并行分支，通过分割这个任务形成更多的线程，这并没有任何实际意义。因此，嵌套并行在OpenMP中将不考虑。OpenMP在处理多级并行嵌套时默认采用串行的执行方式，所以采用多级的并行在程序执行上并不会获得更高的计算效率。

下面通过一个例子来说明OpenMP中的并行嵌套。代码如下：

//File :NestingTest.cpp #include"stdafx.h" #include<omp.h> #include<iostream> using namespace std; void NestingTest() { int i,j; #pragma omp parallel for for(i=0;i<4;i++) { #pragma omp parallel for for(j=0;j<4;j++) { cout<<"j Threads:"<<omp_get_num_threads()<<" ThreadID:"<<omp_get_thread_num()<<"\n"; } cout<<" i="<<i<<" Threads:"<<omp_get_num_threads()<<"\n"; } }

这是一个简单的并行嵌套，运行结果如下：

j Threads:jThreads:1

ThreadID:01 ThreadID:0

j Threads:1ThreadID:0

j Threads:1ThreadID:0

j Threads:1ThreadID:0

j Threads:1ThreadID:0

j Threads:1ThreadID:0

j Threads:1ThreadID:0

i=2 Threads:8

j Threads:1ThreadID:0

j Threads:1ThreadID:0

j Threads:1ThreadID:0

j Threads:1ThreadID:0

j Threads:1ThreadID:0

j Threads:1ThreadID:0

j Threads:1ThreadID:0

i=3 Threads:8

i=0 Threads:8

j Threads:1ThreadID:0

i=1 Threads:8

从输出结果可以发现，在i的循环中循环之间处于并行状态，而在j中循环属于串行。默认情况下即使将j循环定义成并行，其内部执行时仍然按串行方式运行。

若需要使用嵌套并行，则需要使用 omp_set_nested()函数设置在程序中可用并行嵌套。如下例子：

//File :NestedTest.cpp #include"stdafx.h" #include<omp.h> #include<iostream> using namespace std; void NestedTest() { int i,j,k; k=omp_get_nested(); cout<<"是否支持并行嵌套："<<k<<"\n"; omp_set_nested(1);//设置支持嵌套并行 k=omp_get_nested(); cout<<"是否支持并行嵌套："<<k<<"\n"; double starttime,endtime; starttime=omp_get_wtime(); #pragma omp parallel for for(i=0;i<2;i++) { #pragma omp parallel for for(j=0;j<4;j++) { cout<<" i="<<i<<" j="<<j<<" Threads:"<<omp_get_num_threads()<<" ThreadID:"<<omp_get_thread_num()<<"\n"; } cout<<" I="<<i<<" Threads:"<<omp_get_num_threads()<<" ThreadID:"<<omp_get_thread_num()<<"\n"; } endtime=omp_get_wtime(); k=omp_get_nested(); cout<<"是否支持并行嵌套："<<k<<"\n"; cout<<"计算耗时："<<endtime-starttime<<"s\n"; }

运行程序，其结果如下：

是否支持并行嵌套：0

是否支持并行嵌套：1

i=i=1 j=2 Threads:8i=0 j=0 Threads:8ThreadID:0

ThreadID:2

i=0j=3 Threads:8 ThreadID:3

i=0j=1 Threads:8 ThreadID:1

i=1j=3 Threads:8 ThreadID:3

i=1j=1 Threads:8 ThreadID:1

0 j=2Threads:8 ThreadID:2

i=1j=0 Threads:8 ThreadID:0

I=0 Threads:8ThreadID:0

I=1 Threads:8ThreadID:1

是否支持并行嵌套：1

计算耗时：0.0338853s

从上面结果可见，不仅在i的循环中每个循环处于并行，在j中每个循环也处于并行状态。默认情况下，程序的并行嵌套是不可用的，即并行中的并行将会当作串行来处理。如果使用omp_set_nested()设置其可用并行嵌套，则当并行中的线程遇到新的并行时，会创建新的线程来并行处理。

下面用一个例子来比较嵌套并行与非嵌套并行的运行效率，代码如下：

//File :NestingTest02.cpp #include"stdafx.h" #include<omp.h> #include<iostream> using namespace std; void test() { int i; for(i=0;i<100000000;i++); } void NestingTest02() { int i,j; double starttime,endtime; starttime=omp_get_wtime(); #pragma omp parallel for for(i=0;i<8;i++) { #pragma omp parallel for for(j=0;j<8;j++) { test(); } } endtime=omp_get_wtime(); cout<<"计算耗时："<<endtime-starttime<<"s\n"; }

上面代码是一个嵌套并行，其计算耗时约为2.63688s。如果将j循环上面的并行指令注释，只有一个并行结构，其结果为0.678552s。如果将i循环上面的并行指令注释，保留j循环前面的并行指令，其结果为2.67237s。如果都不采用并行，直接用串行运行，其计算耗时为16.1329s。可以，采用嵌套并行并不一定能提高效率，只有在合适的地方设置并行才能达到事半功倍的效果。