并行计算之MPI（一）

MPI学习

1. 了解并行计算

为什么要采用并行计算？
（1）这是因为它可以加快速度即在更短的时间内解决相同的问题或在相同的时间内解决更多更复杂的问题特别是对一些新出现的巨大挑战问题；
（2）节省投入并行计算可以以较低的投入完成串行计算才能够完成的任务3
（3）物理极限的约束光速是不可逾越的速度极限设备和材料也不可能做得无限小只有通过并行才能够不断提高速度，
分类
依据指令分类：
SIMD(Single-Instruction Multiple-Data)单指令多数据并行计算机
MIMD(Multiple-Instruction Multiple-Data)多指令多数据并行计算机
SPMD(Single-Program Multuple-Data)单程序多数据并行计算机
MPMD(Multiple-ProgramMultiple-Data)多程序多数据并行计算机

存储方式：
从物理划分上共享内存和分布式内存是两种基本的并行计算机存储方式除此之外分布式共享内存也是一种越来越重要的并行计算机存储方式图 2

对于共享内存的并行计算机各个处理单元通过对共享内存的访问来交换信息协调各处理器对并行任务的处理对这种共享内存的编程实现起来相对简单但共享内存往往成为性能特别是扩展性的重要瓶颈。

对于分布式内存的并行计算机各个处理单元都拥有自己独立的局部存储器由于不存在公共可用的存储单元因此各个处理器之间通过消息传递来交换信息协调和控制各个处理器的执行。

并行求解过程