【并行算法】加速比性能模型

一、基本概念和加速比

1、基本概念

1).处理机的时间积
处理机数目与处理时间的乘积用以度量这些处理机运行时的资源利用率。
若程序在P台处理机上运行的时间为Tp，则此P台处理机在Tp时间间隔内完成的工作最大数量为Tp * P。
可以将处理机实际工作曲线对时间的积分看成是这些处理机完成的有效工作量。
效率为有效工作量与最大工作量之比。
2).并行度（Degree Of Parallelism—DOP）
并行度是在一定时间间隔内执行一个程序所用的处理机的数目。
3).并行性分布图
执行一个给定的程序时并行度对时间的分布图。
并行度与对应时间的间隔之积即为处理机要完成的工作或工作负载。
如图所示为一个并行性分布图。

2 .加速比

1). 绝对加速比
将最好的串行算法与并行算法相比较.（这里的“最好的”不是绝对的，有时处理最快的是最好的，有时的到最优解的是最好的，有时会把最快和最优结合起来，所以具体问题具体分析）
定义一（与具体机器有关）将最好的串行算法在一台上的运行时间与并行算法在N台运行的时间相比。
定义二（与具体机器无关）将最好的串行算法在最快的顺序机上的执行时间与并行算法在并行机上的运行时间相比。

（分子表示串行机，分母表示并行机）
2).相对加速比
同一并行算法在单节点上运行时间与在多个相同节点构成的处理机系统上的运行时间之比。
这种定义侧重于描述算法和并行计算机本身的可扩展性。

由S表示形式，可以看出随着处理器数量N的增加，加速比S在增大，如果这种增加呈现线性关系，就称之为线性加速比；如果这种增加速度呈现超线性关系，就称之为超线性加速比；如果S增长速度逐渐呈现递减关系，就称之为病态加速比。
线性加速比：中间开销小，通信少，弱耦合计算
超线性加速比：当应用需要大内存时可能出现
病态加速比：加速比递减，可能是计算量太小

二、加速比性能模型（三种）

1.固定负载加速比性能模型—Amdahl定律

在许多实时应用领域，计算负载的大小经常固定。在并行机中，此负载可分布至多台并行执行，获得的加速比称为fixed-load speedup。一个问题的负载可表示如下：
W = Ws + Wp
其中，Ws代表问题中不可并行化的串行部分负载， Wp表示可并行化的部分负载。
则n个节点情况下&#x