并行编程的几种常见框架总结

1、OpenMP
是基于共享内存系统的并行编程和框架，只需要在串行程序中，需要并行的部分添加一行关键字：
#pragma omp parallel for
来标注接下来的for循环分解到多个线程上执行。
两个缺点：
并行后会改变原来for循环的顺序，例如之前i=0,1，2,3，4,5，6,7的顺序会在两核并行后变成0,4，1,5,2，6,3，7的执行顺序，所以不适合需要复杂的线程间同步和互斥，或者依赖的程序；
基于共享内存系统，所以不能用于集群计算环境。

2、MPI
是基于消息传递的并行编程框架，广泛应用于集群计算环境，支持点对点和广播通信两种通信方式。在OpenFoam里就是用的MPI进行并行计算。实现主要采用MPICH。
对于计算流体力学，一般来讲，显式时间格式，低阶或者紧致的数值格式的局域性好，节点对其非Neighbourhood的节点没有依赖关系，天然的可以通过网格分块的方式来实现并行计算。
为了降低通信开销，可以采用MPI+OpenMP混合编程的方式。
问题：对于单节点内共享内存系统的Core，需要进行消息传递吗？

3、OpenCL
支持CPU/GPU/DSP/FPGA等各种硬件，支持异构计算。

4、CUDA
NVIDIA公司出品，有BLOCK并行和THREAD并行两级并行机制。

5、Spark
数据结构抽象为RDD结构，支持python。硬件支持CPU。