并行程序设计学习记录(一) 并行计算相关基本概念

并行计算概论
传统上来说，串行计算是指在单个计算机(也就是单个中央处理单元)上执行一系列指令解决问题，但其中只有一种指令可提供随时并及时的使用。并行计算就是在此基础上演变而来的。并行计算是指同时利用多种计算资源解决计算问题的过程。所谓多种计算资源，是指计算资源应包括一台配有多处理器(并行处理)的计算机、有专有编号的多个与网络相连的计算机，或者两者结合使用。并行计算的主要好处能够使用多个相对“廉价”的计算资源来实现一个更大的计算资源达到计算目的，另外可以利用非本地资源，同时克服单个计算机上存在的存储器限制。并行计算分为时间上的并行和空间上的并行，时间上的并行就是指流水线技术，而空间上的并行是指用多个处理器并发的执行计算。另外并行计算努力仿真了自然世界中的问题状态：一个序列中众多同时发生的、复杂且相关的事件。
能够利用并行计算解决的计算问题通常有以下特征：
（1）问题能够分为多个离散部分，可以分散解决；
（2）在等同计算资源下，多计算资源下解决问题的耗时要优于单个计算资源的耗时；
并行计算科学中主要研究的是空间上的并行问题。空间上的并行导致了两类并行机的产生，按照Flynn的说法分为：单指令流多数据流（SIMD）和多指令流多数据流（MIMD）。我们常用的串行机也叫做单指令流单数据流（SISD）。 MIMD类的机器又可分为以下常见的五类： 并行向量处理机(PVP) 、对称多处理机(SMP) 、大规模并行处理机(MPP) 、工作站机群(COW) 、分布式共享存储处理机(DSM)。