多核CPU集群及分布式内存系统编程模型

MPI

MPI是一种基于信息传递的并行编程技术，这种技术经常被使用在分布式内存系统上。消息传递接口是一种编程接口标准，而不是一种具体的编程语言。MPI标准定义了一组具有可移植性的编程接口。

不同开源组织或者厂商都有针对自己机器特殊优化的MPI版本。

MPI遵循了单程序多数据的方式，把工作量分割成不同的任务，在不同的处理器上执行。主要面向分布式内存架构，每个进程关联一个核心和一块内存，进程间的通信通过互联的网络实现。通信分为两种，点对点和广播。

PGAS

PGAS被称为“全局地址空间分区”（Partitioned Global Address Space (PGAS)）模型。它也适用于分布式内存系统的并行编程。
PGAS在C++语言下的实现是UPC++。

在共享内存的架构下，所有的任务通过全局内存方式来对数据进行存取；在分布式内存架构下，根据任务分配，全局数据结构在物理或者逻辑上被进行分割。

它具有如下特点：
地址空间被认为是全局的。数据在物理上被分割成几个部分，但虚拟的地址空间是连续的。
分割的数据位于不同的分布式内存节点上，这些节点运行相同的任务对这些数据做同样的处理。