并行算法的设计与分析

并行算法设计

任务并行

数据并行

与任务并行不同，前者是划分操作和计算任务，核心对于数据进行不同的运算；后者是划分数据，而核心对于数据进行相同的运算。

其他任务划分方法

搜索分解

将搜索树的每个子树划分成一个任务，与数据分解的区别在于，前者的所有计算工作都是有用的，对于后者一旦找到解，其他搜索工作也停止。
工作量可能大于也可能小于串行算法。

并行算法分析

性能评价标准

运行时间

$T_p$并行算法开始到最后一个进程结束所需要的时间。

并行算法额外总开销

$T_o=p{T}_p-T_s$
其中$T_s$指的是最优串行算法运行时间，$p$指的是并行进程数目。

加速比

并行算法比串行算法快的倍数。

$S=\frac{T_s}{T_p}$

一般情况下$1\le S\le p$,这是因为并行算法一般比串行算法要快，但是会有一些额外开销。
但是$S\ge p$也是可能出现的，可能原因是硬件条件不利于串行算法。

效率

度量有效计算时间。
$E=\frac{S}{p}=\frac{T_s}{cost}$
理想情况下是1。

代价cost

$cost=p{T}_p$
代价也称作工作量，处理器时间积。
代价最优，即最优串行算法运算时间与代价近似相等，即p趋近于1，即$E=O(1)$。

可扩展性

• 算法的强可扩展性定义：算法的效率恒定，或效率不随着线程数的增大而降低，那
  么称程序是可扩展的。
  算法的弱可扩展性定义：问题规模以一定速率增大，效率不随着线程数的增大而
  降低，则认为程序是可扩展的。
• 度量并行体系结构在不同系统规模下的并行处理能力，利用系统规模和问题规模已知的并行系统性能来预测规模增大后的性能。
• 1. 在并行线程数$p$一定的情况下，随着$n$的增大，$S、E$逐渐增大并且趋向于饱和。
     这可能是因为随着$n$的增大，额外开销相对减小。
  2. 在$n$（问题规模）一定的情况下，随着$p$的增大，额外开销增大，$S$趋向于饱和，$E$减小。
     证明：$E=\frac{S}{p}=\frac{T_s}{p{T}_p}=\frac{T_s}{T_o+T_s}=\frac{1}{\frac{T_o}{T_s}+1}$
• 为了保持效率不变，问题规模与处理器数量的增长比率度量了系统的可扩展性，越慢，越好。
• 问题规模：最佳串行算法在单处理单元求解问题所需基本运算步骤数目。如果设定一个基本操作需要一个单位时间，那么$T_s=W$。
• 因此，效率可以表示为问题规模和线程数的函数。推导过程如下：
  $T_p=\frac{T_o+T_s}{p}=\frac{T_o(W,p)+W}{p}$
  $S=\frac{T_s}{T_p}=\frac{Wp}{T_o(W,p)+W}$
  $E=\frac{S}{p}=\frac{W}{T_o(W,p)+W}=\frac{1}{T_o(W,p)/W+1}$
  分析：
  $W$不变，$p$增加，$T_o$增加，因此$E$减少。
  $p$不变，$W$增加，$T_o$增加比$W$要慢，因此$E$增加。
  可以通过同时增加$W、p$，使得效率保持不变。
• 等效率函数：$W=K{T}_o(W,p)$
  较小——较小的问题规模即可充分利用较多的处理器的计算能力，强/高可扩展性
  较大——弱/低可扩展性