【笔记】《高性能计算：现代系统与应用实践》Chapter 03 商用集群

Coder_海东青

已于 2024-02-14 17:33:16 修改

阅读量1k

点赞数 25

分类专栏：高性能计算入门文章标签：笔记云计算边缘计算计算机网络

于 2024-02-14 17:31:53 首次发布

本文链接：https://blog.csdn.net/weixin_43341474/article/details/136114305

版权

4 篇文章 0 订阅

订阅专栏

笔记和摘录

商用集群是一组商品级计算机组成的系统。
- 作为组件的计算机能够独立实现功能，这些计算机是可以销售给超算用途以外的、更广大消费群体的。
- 连接各计算机的集成网络，不是在生产硬件时统一设计的，而是生产商各自开发和生产后，交付给系统构建者使用的。
- 存储设备是现成的、非专门设计的，可以安装在计算机内部或连接在计算机外部。
- 网络连接和设备连接都遵循统一的工业标准。
- 系统软件通常是非专有的，多数是开源的、基于Linux的。
- 编程语言选用C、C++或Fortran，使用MPI、MPI通信。
总结：商用集群与历史上的HPC形式的不同点在于，其组件设计是先于系统设计的，是一种bottom-up 的形式，是**“有啥用啥”** 。传统的HPC形式均是从系统角度出发，逐层到组件设计，所有的设计都是专用的、为统一目标进行的，是一种top-down的形式，是*“用啥要啥”*。

节点(Node)
- 定义：一台能够独立处理用户工作负载的计算机。
- 组成：运算执行组件、主存储器、通信组件。
- 功能：执行用户计算。
系统区域网络(System Area Network, or SAN)
- 定义：使用各节点现成的通信组件，将各节点连接在一起成为分布式计算系统的网络形式。
- 组成：物理数据通路（网线）、网络接口控制器NIC、路由器。
- 功能：节点间数据消息传递，进程间同步和其他节点集体操作（如：归约）。
主机(Host)：
- 定义：一种支持用户服务的特殊节点
- 组成：除节点组成内容外，还可以拥有自己的辅助存储，可以使用集群内大容量存储，或访问外部文件系统。
- 功能：用户服务包含账户登录、系统管理、资源分配调度、用户目录操作。可以同时为多个用户服务，也可以为不同用户作业分割计算节点。
辅助存储(Secondary storage)：
- 功能：为用户文件和目录、用户程序、输入数据及集群作业结果提供永久存储。
- 组成：物理上是一组磁盘驱动器，与控制器相连。

操作系统：Linux
资源管理：SLURM
调试器：gdb
性能分析：perf
可视化：gnuplot
远程控制：ssh

说出集群节点中必需和可选硬件，描述其属性。说出哪些适合安装在计算节点，哪些适合安装在主机节点。在这些环境中，首选特征和参数是什么。
必须组件：处理器，内存、网卡、主板
可选组件：GPU，光盘，硬件接口（USB、SATA），局部存储
主机节点适合安装：光盘，硬件接口
计算节点适合安装：GPU
计算节点的GPU应该更加高性能且可靠，主机节点的GPU通常用于可视化，可以价格低一些。
展开解释COTS，其在商用集群中的作用是什么？答：Commodity off-the-shelf components，商用现成组件，具有更大的消费者市场，从而可以享受到生产规模带来的性价比红利。
对比商用集群和工作站网络(Network of Workstations, NOW)，指出优缺点。答：NOW有一系列高复杂度的工作站集群组成，强调组件的高质量和高性能。商用集群通过使用消费级产品尽可能降低成本，即使这样会对性能和效率造成一定影响。商用集群成本很低但同时可靠性差。
集群上开发自定义应用程序的步骤。答：设计程序，采用并行编程模式实现，编译，请求计算资源，启动程序。
为什么要保持文件系统层次结构一致性？答：确保用户能可靠地定位到文件，确保管理员能采用一致的命名方式管理系统组件。