计算机体系结构（国防科大）-第八章-机群计算机

1 机群计算机

1.1 机群计算机基本结构

高性能并行计算机系统结构通常可以分成五类：

• 并行向量处理机（PVP）
• 对称多处理机（SMP）
• 大规模并行处理机（MPP）
• 分布共享存储（DSM）多处理机
• 机群（Cluster）

其中，起源于20世纪90年代中期的机群结构凭借低廉的价格、极强的灵活性和可扩展性（Scalability），成为近年来发展势头最为强劲的系统结构。

机群：由多台同构或异构的独立计算机通过高性能网络或局域网连接在一起，协同完成特定的并行计算任务的并行计算机系统。机群是一种价格低廉、易于构建、可扩展性极强的并行计算机系统。

结点：机群中每台独立的计算机称为一个结点
结点分类：

• 计算结点
• 管理登录结点
• I/O结点

结点连接方式：机群中的结点一般通过商品化网络连接在一起，例如：以太网，Myrinet，Infiniband，Quadrics等部分商用机群也采用专用网络连接，网络接口与结点的I/O总线以松耦合的方式连接。

机群软件模型：

• 作用：方便机群的管理和使用
• 组织方式：在各结点的操作系统之上再建立一层操作系统来管理整个机群，这就是机群操作系统
• 一个重要功能：实现单一系统映像（SSI）

机群操作系统功能：

• 硬件管理
• 资源共享
• 网络通信
• 实现单一系统映像

SSI（Single System Image）单一系统映像：

• 作用：使得机群在使用、管理、维护上更像一个单独的计算资源
• 四重含义：单一系统、单一控制、对称性、位置透明
• 提供服务：单一登录、单一文件系统、单一作业管理系统

其它软件：包括并行编程模型以及相关的并行编程环境。目前流行的并行编程工具主要包括：

• MPI：基于消息传递的并行编程工具
• PVM：基于消息传递的并行编程环境
• OpenMP：共享存储并行系统上的应用编程接口
• HPF：支持数据并行的并行语言标准

1.2 机群特点

优点：

• 系统开发周期短
• 可靠性高
• 可扩展性强
• 性能价格比高
• 用户编程方便

缺点：

• 维护的工作量较大。
• 维护费用高由于机群由多台完整的计算机组成，它的维护相当于要同时去管理多个计算机系统，因此维护工作量较大 ，维护费用也较高。

机群的迅猛发展还得益于微处理器技术、网络技术和并行程序设计技术的进步：

• 微处理器技术的进步使得微处理器的性能不断提高，而价格却在不断下降
• 与传统超级计算机相比，机群系统更容易融和到已有的网络系统中
• 在机群系统上开发并行应用更加方便，无论是编写新的应用程序还是改写已有的串行程序都更加容易

1.3 机群分类

分类标准：

• 组成机群的各个结点和网络是否相同：
  • 同构机群
  • 异构机群
• 结点类型：
  • PC机群：构成机群的结点是PC。
  • 工作站机群构成机群的结点是工作站。
• 使用目的：
  • 高可用性机群：在系统中某些结点出现故障的情况 下仍能继续对外提供服务。
  • 负载均衡机群：提供与结点个数成正比的负载能力。
  • 高性能计算机群：降低高性能计算的成本。
• 构建方式：
  • 专用机群：代替传统的大中型机或巨型机，其结点一般是同构的。
  • 企业机群：为充分利用各个结点的空闲资源而设计的。

1.4 典型机群系统介绍

Berkeley NOW
采用商用千兆以太网和主动消息通信协议支持采用商用千兆 以太网和主动消息通信协议支持有效的通信，通过用户级整合机群软件有效的通信，通过用户级整合机群软件GLUN IXGLUN IX提供提供单一系统映像、资源管理和可用性，开发了一种新单一系统映像、资源管理和可用性，开发了一种新的无服务器网络文件系统的无服务器网络文件系统xFSxFS，以支持可扩放性和，以支持可扩放性和单一文件层次的高可用性。单一文件层次的高可用性。

• 主动消息。它是实现低开销通信的一种异步通信主动消息。它是实现低开销通信的一种异步通信机制机制
• GLUNIXGLUNIX。它是运行在工作站标准。它是运行在工作站标准UNIXUNIX上的上的一个软件层，属于自包含软件一个软件层，属于自包含软件
• 无服务器文件系统无服务器文件系统xFSxFS。它是一个无服务器的分。它是一个无服务器的分布式文件系统，它将文件服务的功能分布到机群布式文件系统，它将文件服务的功能分布到机群的所有节点上，以提供低延迟高带宽的文件系统的所有节点上，以提供低延迟高带宽的文件系统服务功能。它主要采用廉价冗余磁盘阵列、协同服务功能。它主要采用廉价冗余磁盘阵列、协同文件缓存和分布式管理等技术。文件缓存和分布式管理等技术。

Beowulf

• Beowulf机群是指使用普通的硬件加上Linux操作系统、再加上操作系统、再加上GNU开发环境，以及PVM/MPI共享库所构建的机群。一方面集中了那些相对较小的机器的计算能力，能够以很高的性能价格比提供与大型机相当的性能，另一方面也保证了软件环境的稳定性。
• 它不是一套具体的软件包或是一种新的网络拓扑结构，而只是一种思想——在达到既定目标前提下，把注意力集中在获取更高的性能价格比上

LAMP

• 基于Pentium Pro PC的SMP机群，包含16个结点，每个结点含两个Pentium Pr o 2 00 MHz的的CPU以及256M内存，操作系统是统是Linux 2. 0.34内核版本。
• 同一个SMP节点内的两个CPU之间采用基于共享存储器的消息传递机制进行通信，而节点间通信则通过Myrinet完成。
• LAMP同样采用了Beowulf的思想，但它是基于SMP机器来构建的，这反映了当前机群系统发展的一个重要趋势。

IBM SP2

• 机群中的代表性产品，是异步的MIMD，它的每一个结点都是一台RS/6000工作站，带有自己的存储器（M）和本地磁盘（D），处理器是6流出的超标量处理机，每个结点都有一套完整的AIX操作系统。
• SP2的节点数可以从2个到512个不等，除了每个节点采用RS/6000工作站外，整个SP2系统还需要配置另外一台RS/6000工作站作为系统控制台。
• 节点间可以通过两个网络进行互连，一个是标准以太网，另一个是专门设计的高性能开关HPS，这是一个Omega多级开关网络。
• SP2的节点通过网络接口开关(NIC)接到HPS，IBM将其称作开关适配器。开关适配器中有一个8MB的DRAM用来存放各种不用协议所需的大量报文，并用一台i860微处理器进行控制。
• SP2系统软件的核心是AIX操作系统。SP2系统中，在RS/6000工作站原有环境下开发的大部分软件都能被重用，包括1000多种串行的应用程序、数据库管理系统（DB2）、联机事务处理监控程序（CICS/6000）、系统管理和作业管理软件、FORTRAN/C++编译程序，数学和工程程序库（ESSL）、标准的AIX操作系统等。
• SP2中设置来了一个专门的系统控制台用以管理整个系统。通过该系统控制台，系统管理人员可以从单一地点对整个系统进行控制。

小结：由于具有价格低廉、灵活性强、可靠性高等优点，机群已经成为当前构建高性能计算机系统时2的主要选择，在3期的TOP500排名中，机群系统的数量一直维持在400台以上，远远超过MPP（并行大规模处理器）和其他结构。