高性能计算相关概念

HPC：High Performance Computing，高性能计算机群

GPU：Graphics Processing Unit， 图形处理器

GT/s：Giga Transmission per second （千兆传输/秒），每一秒内传输的次数。重点在于描述物理层通信协议的速率。也就等于一秒钟完成了多少次数据< n bit>传输。

GB/s（Gbps） 即千兆比特每秒。1千兆比特每秒等于100万比特每秒。
举例说明：：
第二代PCI Express接口（简称 PCIe Gen2）的速率属性为5.0GTs，这样的描述主要说明的是每条PCIe Gen2的Lane（Serdes）每秒可以完成5.0G bit的数据传输这一属性，无论对于宽度为x1、x2、x4、x8的PCIe Gen2接口都是适用的。
PCI-e2.0 协议支持 5.0 GT/s, 即每一条Lane 上支持每秒钟内传输 5G个bit；但这并不意味着 PCIe 2.0协议的每一条Lane支持 5Gbps 的速率。为什么这么说呢？ 因为PCIe 2.0 的物理层协议中使用的是 8b/10b的编码机制。 即每传输8个bit，需要发送10个bit；这多出的2个bit并不是对上层有意义的信息。 那么， PCIe 2.0协议的每一条Lane支持 5 * 8 / 10 = 4Gbps 的速率。 以一个PCIe 2.0 x8的通道为例，x8的可用带宽为 4 * 8 = 32 Gbps。

磁盘性能指标：
IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。随机读写频繁的应用，如小文件存储(图片)、OLTP数据库、邮件服务器，关注随机读写性能，IOPS是关键衡量指标。
Through-output：吞吐量，对于顺序读写频繁的应用，传输大量连续数据，如电视台的视频编辑，视频点播VOD等，关注连续读写性能，数据吞吐量是关键衡量指标。

InfiniBand：（直译为“无限带宽”技术，缩写为IB）是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连。

Mellanox：迈络思，基于InfiniBand和以太网标准的端到端高性能互连产品和解决方案的集成供应商。为服务器，通信，数据存储和嵌入式市场提供包括交换机，主机通道适配器和目标通道适配器在内的完整解决方案。

NVMe：Non-Volatile Memory Express，非易失性内存主机控制器接口规范，它是用于存储设备的接口规范。它是与AHCI类似的、基于设备逻辑接口的总线传输协议规范，用于访问通过PCI Express（PCIe）总线附加的非易失性存储器介质（例如采用闪存的固态硬盘驱动器）。

SSD：Solid State Disk或Solid State Drive，固态硬盘，又称固态驱动器，是用固态电子存储芯片阵列制成的硬盘。
M.2接口SSD：M.2接口是为固态硬盘特殊准备的新接口。M.2接口的卡槽一般有2280/2260等尺寸，主流的M.2接口固态大小基本是2280尺寸。M.2接口本质为PCIe插槽，PCIe是一种高速通道，不同的固态硬盘传输协议会影响传输性能，支持NVMe协议，走PCIe通道的M.2接口会比不走PCIe的M.2接口快。
SATA接口SSD：SATA接口是从传统机械硬盘传承而来，是最为主流的硬盘接口形态。由于存在时间很长，SATA接口兼容性极强，几乎所有种类的主板都有SATA接口，它算是是目前市面上普及度最强的硬盘接口。市面上固态硬盘SATA接口在性能标准上，一般采用SATA Ⅲ标准，理论最高速度为6Gbps（750MB/s）。但实际上，它的传输速度只有4.8 GB/s (600MB/s)，这是由于传输数据编码过程中出现了物理开销造成的。

全闪存储，是在存储系统中用固态硬盘（SSD）或其他闪存介质代替传统硬盘（HDD）。最显而易见的特性在于它的高IOPS。
ESS-3200：是IBM的 ESS系列产品，Elastic Storage System (ESS) 是软件定义的存储的现代化实施，针对 AI 和大数据部署快速且高度可扩展的存储器。 使用了低延迟和高性能的 NVMe 存储技术以及 IBM Spectrum Scale 的 8YB 全局文件系统和全局数据服务。 通过整合多个平台（包括 Kubernetes 和 Red Hat OpenShift）的存储需求并消除孤岛，IBM ESS 可以减少低效问题，降低获取成本，简化存储管理和支持多种要求苛刻的工作负载，并在整个组织中实现高性能。

NetApp EF600：NetApp公司的系列产品。 EF600系列是一款端到端的非易失性存储器（NVMe）中端产品，旨在加快数据访问速度。EF600系列通过使用SAS协议将当前可用的全闪存阵列的性能提高了一倍。 EF600全闪存阵列的主要规格包括提供200万持续IOPS、100微秒以下的响应时间和44 GBps的吞吐量。其他功能包括：

petaflops：Peta FLoating-point Operations Per Second，每秒10^15(千万亿)浮点运算次数；
teraflops：Tera FLoating-point Operations Per Second，每秒10^12(万亿)浮点运算次数；

NVLink： is a high-speed, direct GPU-to-GPU interconnect. 英伟达的一项用于GPU之间高速通信的技术。

NVSwitch： takes interconnectivity to the next level by incorporating multiple NVLinks to provide all-to-all GPU communication at full NVLink speed within a single node like NVIDIA HGX™ A100. The combination of NVLink and NVSwitch enabled NVIDIA to efficiently scale AI performance to multiple GPUs and win MLPerf 0.6, the first industry-wide AI benchmark。

MLPerf：是一项用于测试ML（Machine Learning）硬件、软件以及服务的训练和推理性能的公开基准。它能帮助人工智能研究人员采用通用标准来衡量用于训练人工智能的硬件、软件的最佳性能和速度。 目前，MLPerf基准测试正迅速成为测量机器学习性能的行业标准，得到了来自40多家公司和研究人员的支持，如亚马逊、ARM、百度、谷歌和微软。

Tesla-A100：是Navida的一个GPU型号，使用40GB三星HBM2显存，显存频率3.2GHZ， 显存带宽1600GB/s，最大功耗 400W。

DGX A100 AI超级计算机: DGX A100是NVIDIA超级计算单元的第三次迭代。
GPU：它配备了八个NVIDIA Tesla-A100 GPU，这些GPU之间通过6个NVSwitch进行通信。
NVSwitch：NVSwitch互连结构拥有600GB / s的GPU间带宽，并且使DGX A100超级计算机中所有GPU的总GPU间通信带宽达到4.8TB / s。
IB卡：8个单端口Mellanox ConnectX-6 HDR Infiniband / 200GbE，并具有群集功能，支持200GB / s的总峰值互连性能！它还具有单个双端口ConnectX-6，可满足数据和存储网络的需求。
CPU：使用AMD的64核服务器处理器EPYC 7742*2, 2.25GHZ， 共128个CPU内核。
系统内存：1TB系统内存。
硬盘：15TB 的NVMe gen4.0 M.2 SSD硬盘。

NVIDIA HGX™ A100

CPFS：Cloud Paralleled File System， 是阿里云的并行文件系统。CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。
GPFS：General Parallel File System， 是IBM 公司的共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，它保证在资源组内的 所有节点可以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在 使用此文件系统的多个节点上实现。 GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上；它提供了许多标准的 UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。

参考资料：

1. https://blog.csdn.net/sinat_41896311/article/details/114091263
2. https://www.cnblogs.com/kongchung/p/12945019.html
3. https://www.ibm.com/cn-zh/products/elastic-storage-system
4. https://www.netapp.com/zh-hans/data-storage/ef-series/