高等计算机系统结构 清华大学,高等计算机系统结构-清华大学计算机系高.ppt

高等计算机系统结构-清华大学计算机系高

高等计算机系统结构 清华大学计算机科学与技术系高性能计算研究所 郑纬民 教授 2007年9月 高等计算机系统结构 第一章 高等计算机的核心技术——并行处理 第二章 加速比性能模型与可扩展性分析 第三章 互连与通信 第四章 划分与调度 第五章 并行存储器系统 第六章 Cache Coherence 第七章 Memory Consistency 第八章 指令级并行处理 第九章 微处理器设计与实现方法 第十章 网格计算 高等计算机系统结构 第十一章 DSM 第十二章 传感器网络 第十三章 对等计算 第十四章 海量网络存储器 第十五章 多核CPU技术 第十六章 可信计算系统 第十七章 虚拟化技术 第十八章 基于集群的海量数据处理 第二章 加速比性能模型与可扩展性分析 2.1 加速比性能分析 2.1.1 一般概念 2.1.2 加速比 2.1.3 三种加速比性能模型 2.2 可扩展性分析 2.1 加速比性能模型 2.1.1 一般概念 1.处理机—时间积 处理机数目与处理时间的乘积用以度量这些处理机运行时的资源利用率。 若一程序在?P台处理机上运行的时间为Tp，则此P台处理机在Tp时间间隔内完成的工作最大数量为Tp * P。 可将处理机实际工作曲线对时间的积分看成是这些处理机完成的有效工作量。 效率为有效工作量与最大工作量之比。 2.并行度(Degree Of Parallelism—DOP) 并行度(DOP)是在一定时间间隔内执行一个程序所用的处理机的数目。 3.并行性分布图 执行一个给定的程序时DOP对时间的分布图。 DOP与对应时间的间隔之积即为处理机要完成的工作或工作负载。 下图所示为一个并行性分布图。 2.1.2 加速比 1. 绝对加速比 将最好的串行算法与并行算法相比较. 定义一(与具体机器有关)将最好的串行算法在一台上的运行时间与并行算法在N台运行的时间相比。 定义二(与具体机器无关)将最好的串行算法在最快的顺序机上的执行时间与并行算法在并行机上的运行时间相比。 2.相对加速比 同一并行算法在单节点上运行时间与在多个相同节点构成的处理机系统上的运行时间之比。 这种定义侧重于描述算法和并行计算机本身的可扩展性。 2.1.3 三种加速比性能模型 1.固定负载加速比性能模型—Amdahl定律 在许多实时应用领域，计算负载的大小常固定。在并行机中，此负载可分布至多台并行执行，获得的加速比称为fixed-load speedup。一个问题的负载可表示如下： W = Ws + Wp 其中，Ws代表问题中不可并行化的串行部分负载， Wp表示可并行化的部分负载。 则n个节点情况下，加速比可以表示如下： 设串行因子α为串行部分所占的比例。即 效率En可以表示为： 结论：加速比曲线随α的上升急剧下降，原因是存在顺序部分Ws，无法用增加系统的处理机数目来解决。这一性质在过去二十年间给人们造成了对并行处理非常悲观的印象。 影响：两种意见： 1.劝阻制造商生产大规模并行计算机。 2.研究并行编译器，以降低α的值，从而提高系统的性能。 规定负载加速比模型的可能应用范围： 对时间要求严格的应用问题。 第二章 加速比性能模型与可扩展性分析 2.1 加速比性能分析 2.2 可扩展性分析 2.2.1 可扩展性 2.2.2 可扩展性分析 上图中： 采用受限于存储器的加速比模型中给出的公式， θ曲线对应的G(n) = n1.5 γ曲线对应的G(n) = n β曲线对应的G(n) = 0.5n α曲线对应的G(n) = 1 则有加速比公式: 给定一个程序，假设Ws/Wp = 0.4，那么效率为： 相应的处理器数目—效率曲线如下图： 效率 n θ (指数) γ (线性) β (亚线性) α (常数) 结论： 1.如果工作负载(问题规模)保持不变，那么效率E随机器规模的增大而迅速下降，其原因是开销h比机器规模增加得快，为了使效率保持在一定的水平上，我们可以按比例增大机器规模和问题规模。 2.如果工作负载按指数增长模式，效率要保持恒定或保持良好的加速比，必须使问题规模猛增才行，这样就会超过存储器或I/O限制，而问题规模只允许在计算机存储器可用的限度以内增长。 并行计算机的应用模型如下图： 通信界限 存储器界限 受限于存储器模型 工作负载 (问题规模) 机器规模 固定负载模型 固定时间模型 2.2 可扩展性分析 2.2.1 可扩展性 1.可扩展性与可编程性 增加 可扩展性 增加可编程性 分布存