计组期末复习之第八章：并行计算机系统

计组第八章：并行计算机系统

8.1 并行性的概念

并行性

• 指计算机系统具有可以同时进行运算或操作的特性
• 同时性
  • 指两个或两个以上的事件在同一时刻发生
• 并发性
  • 指两个或两个以上的事件在同一时间间隔内发生

并行计算

• 指通过网络相互连接的两个以上的处理机相互协调工作，同时计算同一个任务的不同部分
• 目的
  • 提高速度
  • 扩大问题求解规模
• 应用领域
  • 科学与工程计算
  • 商业计算

并行性分类

处理数据的角度（并行性升序排列）

• 字串位串
• 字串位并
• 字并位串
• 全并行

执行程序的角度

• 指令内部并行
• 指令级并行
• 任务级或过程级并行
• 作业或程序级并行

提高并行性的计数途径

时间重叠

• 即时间并行
• 在并行性概念中引入时间因素，多个处理过程在时间上相互错开，轮流重叠地使用同一套硬件设备的各个部分，以加快硬件周转时间而赢得速度

资源重复

• 即空间并行
• 在并行性概念中引入空间因素，采用以数量取胜的原则，通过重复设置硬件资源，大幅度提高计算机系统的性能

资源重复+时间重叠

• 在计算机系统中同时运用空间并行和时间并行技术

资源共享

• 一种软件方法，它使多个任务按一定时间顺序轮流使用同一套硬件设备
• 既降低了成本，又提高了计算机设备的利用率
• 例子
  • 多道程序
  • 分时系统

并行性的发展

单机系统并行性发展

• 主导作用
  • 时间并行技术
    • 物质基础
      • 部件功能专用化
    • 应用
      • 多体交叉存储器
      • 多操作部件
• 在单处理机中，资源共享概念的实质就是用单处理机模拟多处理机的功能，形成所谓的 “虚拟机（Virtual Machine，VM）”的概念

多机系统并行性发展

也遵循时间重叠、资源重复、资源共享原理，向三种不同的多处理机方向发展，但技术措施上与单机系统有差别

耦合度

• 反映多机系统各机器之间物理连接的紧密程度及交互能力的强弱

紧耦合系统

• 又称直接耦合系统
• 指计算机间物理连接的频带较高，一般通过总线或高速开关实现计算机间的互连，可以共享主存

松耦合系统

• 又称间接耦合系统
• 一般通过通道或通信线路实现计算机间的互连，可以共享外存设备（磁盘、磁带等）
• 机器之间的相互作用是在文件或数据集一级上进行的
• 表现形式
  • 多台计算机和共享外存设备连接
  • 计算机网络

多处理机中为了实现时间重叠，将处理机功能分散给各台专用处理机去完成，即功能专用化，各处理机之间则按时间重叠原理工作

通过设置多台相同类型的计算机而构成的容错系统，可使 系统工作的可靠性在处理机一级得到提高

并行计算机体系结构分类

根据指令流和数据流的不同

• 单指令流单数据流SISD
• 单指令流多数据流SIMD
• 多指令流单数据流MISD
• 多指令流多数据流MIMD

8.2 向量处理机

是指令级并行的计算机

• 能较好发挥流水线技术的特性，达到较高的计算速度

向量处理

• 几个概念
  • 标量：单个量
  • 向量：一组标量

一条向量指令可以处理N个或N对操作数

• 处理效率比标量指令高得多

例题请查阅：计组期末复习之例题与解析

8.3 阵列处理机

操作模型

又称并行处理机

• 主要技术手段
  • 采用硬件资源重复的方法来实现并行性
• 属于SIMD结构计算机
  • 用一个控制部件同时管理多个处理单元

特点

• 以单指令流多数据流方式工作

• 采用资源重复方法引入空间因素

  • 在系统中设置多个相同的处理单元来实现并行性
  • 利用并行性中的同时性，所有处理单元必须同时进行相同的操作

• 是以某一类算法（如图像处理）为背景的专用计算机

• 阵列机的研究必须与并行算法的研究密切结合

• 从处理单元来看，由于结构都相同，因而可将阵列机看成是一个同构型并行机

  • 其控制器实质上是一个标量处理机

8.4 多处理机系统

特点

• 多处理机的体系结构由若干台独立的计算机组成，每台计算机能够独立执行自己的程序

• 处理机与处理机之间通过互连网络进行连接，从而实现程序之间的数据交换和同步

• 多处理机属于MIMD计算机

与阵列处理机区别

• 多处理机要实现任务或作业一级的并行
• 阵列处理机只实现指令一级的并行

分类

按多处理机各机器之间物理连接的紧密程度与交互作用能力的强弱

• 紧耦合系统
  • 处理机间物理连接的频带较高，一般是通过总线或高速开关实现互连，可以共享主存储器
• 松耦合系统
  • 由多台独立的计算机组成，一般通过通道或通信线路实现处理机间的互连，可以共享外存设备

按处理机的结构是否相同来分

• 同构型多处理机系统
  • 每个处理机是同类型的，且完成同样的功能
• 异构型多处理机系统
  • 多处理机是由多个不同类型，且担负不同功能的处理机组成

8.5 机群系统

定义

• 一组完整的计算机互连，它们作为一个统一 的计算机资源一起工作，并能产生一台机器的印象

完整的计算机

• 指一台计算机离开机群系统仍能 运行自己的任务

结点

• 机群系统中的每台计算机

• 是并行或分布计算机系统的一种类型
  • 是由一组完整的计算机（结点）通过高性能的网络或局域网互连而成的系统
  • 作为一个单独的统一计算资源来使用

特点

• 机群由完整的计算机（结点）互连而成

• 机群应能作为一个单独的统一计算资源来使用

• 机群不同于局域网

  • 局域网是一个分布式系统
  • 机群中的各台计算机既可以单独使用，又是多台计算机连成的一个整体中的一部分

8.6 网格计算

是指将分布的计算机组织起来协同地解决科学与工程计算问题