并行计算、计算机、程序

什么是并行计算

并行计算就是使用并行计算机来减少解决单个计算问题所需的时间。并行计算被认为是科学家和工程师用来解决各种领域的问题的标准方法，如银河系的演变过程、气候模拟、飞行器设计以及分子动力学等。

什么是并行计算机

并行计算机是支持并行计算的多处理器计算机系统。多计算机和集中式多处理器（SMP）是两种主要的并行计算机。

多计算机是由多台计算机和互联网络组成的并行计算机。不同计算机上的处理器之间通过传递消息来互相通信。

相反，集中式多处理器是继承的更加紧密的系统。系统中的所有CPU共享全局内存，并通过共享内存支持处理器之间的通信和同步。

什么是并行程序设计

并行程序设计是使用程序设计语言显式地说明计算中不同部分如何在不同处理器上同时执行。

什么是MPI（Message Passing Interface, 消息传递接口）

MPI是消息传递库的标准。几乎所有的并行计算机都支持该标准通信库。

并行计算机正在越来越多的使用SMP系统来构建。在每个SMP系统内部，CPU共享全局地址空间。尽管MPI是在不同SMP系统之间进行通信的良好方式。但是OpenMP在描述单个SMP节点内部的处理器之间的通信上更加有效。

开发并行程序的4种途径

1. 扩展现有的编译器以便将串行程序转化为并行程序

2. 扩展现有语言，增加新的操作以允许用户表达并行性

3. 在现有串行语言上增加一个并行语言层

4. 定义全新的并行语言和编译系统