超级计算机的访存,高性能计算及高性能计算机-青能所超级计算中心.PPT

机群系统每个节点都是一个完整的计算机各个节点通过高性能网络相互连接网络接口和总线松耦合连接每个节点有完整的操作系统曙光访存模型多处理机单地址空间共享存储器多计算机多地址空间非共享存储器结构模型访存模型多处理机多计算机多处理机共享存储多计算机分布式存储并行计算机的性能指标名称符号含意单位机器规模处理器的数目无量纲时钟速率时钟周期长度的倒数工作负载计算操作的数目顺序执行时间程序在单处理机上的运行时间秒并行执行时间程序在并行机上的运行时间秒速度每秒百万次浮点运算加速衡量并行机有多快无量纲效率衡量处理器

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 机群系统(Cluster) Cluster 每个节点都是一个完整的计算机 各个节点通过高性能网络相互连接 网络接口和I/O总线松耦合连接 每个节点有完整的操作系统 曙光2000、 3000、4000, ASCI Blue Mountain 访存模型 UMA: NORMA: NUMA: 多处理机(单地址空间共享存储器) UMA: Uniform Memory Access NUMA: Nonuniform Memory Access 多计算机(多地址空间非共享存储器) NORMA: No-Remote Memory Access 结构模型－－访存模型 UMA: NUMA: NORMA: 多处理机 && 多计算机 UMA: NUMA: NORMA: 多处理机 (共享存储) 多计算机 (分布式存储) 并行计算机的性能指标 名 称 符 号 含 意 单 位 机器规模 n 处理器的数目 无量纲 时钟速率 f 时钟周期长度的倒数 MHZ 工作负载 W 计算操作的数目 Mflop 顺序执行时间 T1 程序在单处理机上的运行时间 s(秒) 并行执行时间 T n 程序在并行机上的运行时间 s(秒) 速度 R n = W/T n 每秒百万次浮点运算 Mflop/s 加速 Sn=T1/Tn 衡量并行机有多快 无量纲 效率 En = S n/n 衡量处理器的利用率 无量纲 峰值速度 R peak = n R’ peak 所有处理器峰值速度之积 ， R’peak为一个处理器的峰值速度 Mflop/s 利用率 U =R n/R peak 可达速度与峰值速度之比 无量纲 通信延迟 to 传送0-字节或单字的时间 Μs 渐近带宽 r∞ 传送长消息通信速率 MB/s 衡量系统性能的主要指标(1) MIPS(百万条指令每秒) 理论计算：处理器的时钟频率与平均每条指令所需的时钟周期(Cycles Per Instruction)的比值 MIPS ＝ clock rate / CPI = (number of Instructions) / (CPU time) 实际数值：对于一个应用(程序)，指令数目与运行时间的比值 MIPS’＝ (number of Instructions) / (execution time) 衡量系统性能的主要指标(2) MFLOPS(百万次浮点运算每秒) 理论计算：系统的浮点计算部件每秒可以做的浮点计算次数； MFLOPS = (number of Floating Point compute Unit)×N N为每个浮点计算部件一个周期内可以做的最多浮点操作数，对于目前常见的微处理器，一般为1－4； 实际数值：对于一个应用，浮点运算数目与运行时间的比值； MFLOPS’ = (number of floating operations) / (execution time) 两个指标的缺点 都不能全面表征系统的性能 MIPS指标比较适用于事务处理领域； 不同系统的指令不同，一条指令的功能和复杂度差别很大， 如IBM的大型主机(Mainframe)，价格达到千万元的大型机(含配套软件)，其MIPS值一般为5－10，不及价值数千元的Pentium4 PC； 非计算密集型的应用(事务处理)对I/O要求高，计算密集型的应用(图形程序)对主频要求高。用户对可靠性等特殊要求； 应用的需求不同，高性能计算领域也是“通才”难求，各有所长； 某些特殊类型计算机适合特定的应用。 两个指标的缺点 理论计算和实际测试的差别 对于一个具体的应用，可获得的实际性能与理论峰值有相当大的差距，即效率低的问题； 应用效率成为高性能计算的核心问题之一，受到普遍关注。 加速比定律 在并行计算系统，并行算法(并行程序)的执行速度相对于串行算法(串行程序)加快的倍数，就是该并行算法(并行程序)的加速比； 加速比是衡量“并行收益”的重要指标； Amdahl定律适用于固定计算规模的加速比性能描述，Gustafson定律适用于可扩展问题。 Amdahl定律 S = (WS+WP)/(WS+WP/p) = 1/(1/p+f(1-1/p)) 显然，当p→∞时，S=1/f，即对于固定规模的问题，并行系统所能达到的加速上限为1/f 一度引发了并行界部分人士的悲观情绪 Gustafson定律 S‘=(WS+pwp)/(WS+WP) =p-f(p-1)=f+p(1