并行计算的概念

并行计算是相对于串行计算来说的，所谓并行计算分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。

并行计算科学中主要研究的是空间上的并行问题。 空间上的并行导致了两类并行机的产生，按照Flynn的说法分为：单指令流多数据流（SIMD）和多指令流多数据流（MIMD）。我们常用的串行机也叫做单指令流单数据流（SISD）。

MIMD类的机器又可分为以下常见的五类：

并行向量处理机(PVP)
对称多处理机(SMP)
大规模并行处理机(MPP)
工作站机群(COW)
分布式共享存储处理机(DSM)。
[编辑]访存模型
并行计算机有以下四种访存模型：

均匀访存模型（UMA）
非均匀访存模型（NUMA）
全高速缓存访存模型（COMA）
一致性高速缓存非均匀存储访问模型（CC-NUMA）和非远程存储访问模型（NORMA）。