CUDA（6）之并行计算简介

摘要

本文主要简介并行算法，及一些重要的基本概念。

 

1. 并行计算之重要公式

并行计算的工作量 = 串行计算的工作量                                            （1.1）

并行计算的工作量 = 并行计算耗时 × 并行处理器的数目                （1.2）

从公式（1.1）和公式（1.2）可知，简单地说并行算法是尽可能地将串行算法中提取改进可并行的部分，然后获得一个相对令人满意的并行算法。

从公式（1.2）可知，如果目前已知的串行算法的计算时间是指数时间（即串行算法的工作量是指数的！），根据公式（1.2），要么并行计算耗时是指数的，要么并行处理器的数目是指数的，其中，现实世界中这两个条件中的任意一个都不可能是合理地存在。因此，即使是并行计算机，会产生指数爆炸的问题仍然无法得到有效的解决。这是读者需要明确的观点，并行计算可以有效地提高计算效率，但绝非万能。

 

2. 实例

这里，我们知道了并行计算的很多工作是改进传统的串行算法的性能。下面，主要介绍一些经典的可并行的传统串行算法。

a) 矩阵乘法

b) 图的可达性

c) 算术运算

d) 最大流问题

e) 旅行商问题

f) 行列式和逆