第二讲：高性能计算关键技术和趋势分析

 

需求的膨胀推动着技术变革，技术的革新进一步丰富着我们的生活，如今大数据、云计算技术跨界竞争和技术融合迫使我们不断换血和补充能量来适应一次次变革。那么在人工智能、虚拟现实、物联网等技术热潮过后，能预测到的下一个技术热点会是什么，高性能计算(HPC)？面对技术和行业融合现状，HPC应该再适合不过了，因为HPC是一个跟各个行业结合比较紧密的技术。

回顾历史，传统HPC还是主要聚焦在仿真、物理化学、生命科学、渲染、勘探和气象等六大场景，上层HPC集群化的特定应用环境也是比较固定。

随着大数据、云计算和技术发展和行业融合，HPC在各个层面的分类也发生了一些变化，根据HPC应用的目标市场可分为HPC商业市场和HPC科研市场。

但随着大数据、云计算和技术发展和行业融合，综合技术和行业趋势，HPC行业划分方法也发生了变化，目前主要分为传统HPC(以上述的六大场景为主)，HPDA高性能数据分析、HPC Anywhere和HyperScale四大类。

HPC Anywhere也实现了HPC和云的结合，例如Panzura、Ctera、Avere和Nasumi等集群文件网关存储厂商，他们提供一个高速的本地分布式NAS系统，用于对接AWS、Azure等这样的公有云对象存储和一些低速的NAS产品，通过这些网关提供了一个缓冲层，可以设置策略让数据在网关和其它存储之间流动，实现NAS或Object存储直接与集群网关连接，甚至与公有云链接。

在该专栏中，谈到的HPC，已经不仅仅是简单的一堆计算、网络、存储、HPC软件等设备，而更多的是聚焦在HPC的发展、主流玩家、技术趋势和HPC未来出路。

HPC系统涉及存储、计算节点、网络、HPC软件和L1层冷却、机房、供电等多种复杂设备，但是从技术角度讲，服务器、网络标准都比较统一，每家厂商设计出的产品除了在管理方面差异较大之外，其他方面基本保持在同等水平。然而标准不一、最容易提升方案竞争力的还是存储设备。

HPC存储是在HPC应用环境下，为解决传统串行存储性能瓶颈，所提出的专用存储。HPC存储侧的容量、性能、IOPS与HPC计算侧的规模、性能弱相关。HPC存储主要关注点性价比、低成本、占地空间等；在HPC典型应用场景下，常见的业务模型大致如下：

在IOR测试工具中，IOPS实际上就等同于OPS，IOR工具在HPC的BenchMark测试中采用的是比较多的，主要原因是IOR对带宽和OPS都比较适合，并提供丰富的参数来模拟不同的业务IO模型。

随着闪存技术的成熟，HPC的传统的3层技术架构(即计算节点内存、并行文件系统和归档存储)也发生了变化。在HPC系统中，并行文件系统(pFS)对HPC性能影响最大，在某种意义上决定整个HPC存储性能。传统HPC架构应对超大规模HPC集群计算节点同时Checking Point需求时，显得力不从心，那就需要在pFS之上多加一层高速大容量(相对于Memory)的Cache(Burst Buffer)。

Burst Buffer技术和产品的出现使得HPC计算架构发生了变化，Campaign 存储如同数据热备，它的出现给数据生命周期管理增加了更多选择。我个人认为Burst Buffer技术只是一个技术过度，如果改善系统性能的Hybird存储，不过，在目前SSD还相当贵的状况下，Burst Buffer却能够更好的匹配超大型HPC场景极致性能需求。在性能和容量空间比在20MB/TB至200MB/TB之间，Burst Buffer可以说是非常适合的，通过简单的配置调整，基本不会出现容量或性能超配，而且能发挥出SSD的价值。

如果没有Burst buffer，所有性能层都需要pFS来承载，计算系统进行Checking Point时性能需要pFS来承载(存放或缓存)内存一致性数据，容量超配非常严重。Burst Buffer的另一个作用是在浪涌IO模型下，Burst Buffer可以作为高性能层和pFS一起提供性能，对小IO可以进行合并优化。目前DDN、Cray、EMC等都已经支持，并且IBM也会很快支持，既然说到这里了，我们简单看看DDN的Burst Buffer IME产品，IME产品支持三种形态。

• IME240 采用2U商用服务器。 单个产品提供20GB带宽，提供48块NVMe SSD，支持800G和1.8TB。5个IME240，配置1.8TB磁盘满配，提供100GB带宽，300TB容量，容量使用率80%。
• IME14KX基于专用的SFA14KX平台，基于4U设备，支持的灵活配置NVMe磁盘。最大也是支持48磁盘，性能是10GB/s到满配的50GB/s，扩展性和IME240一致，支持扩展到32个节点，性能达到1.6TB/s。
• IME SOFTWARE-ONLY是纯软件产品。可以灵活部署在现有硬件。

DDN、Cray和EMC的Burst buffer方案将在后续Burst Buffer章节详细介绍。

在HPC行业，有个业界一直被推崇的做法可以借鉴，那就是开源生态和的重要性。从Linux，OpenStack，Ceph到Lustre和BeeGFS等。他们的成功说明开放的魅力强大，参与者越多产品才会越稳定，客户才会认同。拥抱开源，基于自己的优势和理解定制化，走出一条自己的路。DDN、Seagate还有很多HPC方案供应商都是这样从开源和合作中占据主要的HPC市场份额。

谈到HPC不可避免的会谈到NAS或pFS，那么HPC为什么就一定要pFS呢？因为计算软件，配置数据需要在各个计算节点共享，需要多并发访问，计算的临时文件、中间、结果文件需要集中处理。

在计算集群形成初期，系统中并没有复杂的存储系统存在，甚至没有统一存储的概念，那时每台计算节点把自己所计算出的数据先暂时写到自己的本地硬盘上(Cache)，最终由主节点进行所有数据的回收，至主节点所挂载的相对大的空间中(其实这就是后来HPC存储的雏形)，再进行后续处理(分析、共享、可视化、备份与恢复)。

本地存储引入的问题：计算任务在计算集群中被分割为若干个子任务。计算过程中，某个计算节点的输入数据可能存放在另外的节点上，引入的问题。

• 1、各节点的数据会二次进出本地硬盘，各节点间的数据传输也会造成多余的网络风暴，这种做法无疑会造成计算效率的下降；
• 2、应用程序代码编写过程中，无法预计所要数据在哪个节点上，都造成麻烦与效率的低下。

 

因此后续的程序编写中，会让所有的节点都认到一块区域，将所有的临时性数据和最终数据都写到这里，即统一命名空间，因为所有计算节点都可以看到这块同一个名字的数据存储区域，表现在计算节点的OS中即为看到同一个名字的目录。

HPC应用软件，例如Paradigm、3Ds Max等，在配置计算模型的存储指针时，会发现要求指向同一个区域，即统一的存储空间，而且有许多软件在这个参数的设置上是不能修改的。

某计算节点自己的中间数据，可能会存放在自己内部的存储上。如果使用SAN存储，就必须使用SAN共享软件(如StoreNext)，保证数据读写的一致性。

我们再来看看HPC行业的的主要玩家，主要看看服务器和存储。服务器厂商在HPC行业的的情况基本上和在整个服务器产品的市场份额保持一致。在技术上，服务器没什么好说的，加内存，加CPU，加接口卡性能一定会提升，通过高密节点也很容易提升密度。

HPC存储厂商实主要分了3类，服务器厂商、传统存储厂商和专注于HPC行业的存储厂商。从这些厂商我们看到，IBM虽然是服务器或者是传统存储厂商，但是借助于GPFS，其市场份额比较大的，随着Lustre放弃企业版给客户带来的不确定性，GPFS的市场份额还会上升。DDN目前实现了Burst Buffer IME，在很多场景下凭借高性能、NVMe SSD和高密度领军整个HPC行业。

实际上，我个人认为HPC系统在市场份额和项目上分布上，超大规模和中小型规模应该是一半一半的，但是在企业市场，中小型规模的客户一般是集成商或代理能够接触到的，而厂商能够直接接触或者说看的上眼的往往就是超大规模的HPC市场。所以对厂商来说跟进HPC技术步伐就显得尤为重要。我上面提到的已经具备和马上具备Burst Buffer的厂商，都是引领HPC行业和技术的厂商，如DDN、IBM等。

 

DDN是在Burst Buffer上发力最猛的HPC解决方案提供商，但是Burst Buffer目前还没有一统天下(未来可能全闪存会一统HPC天下)，Panasas和Seagate是两家专注HPC行业的专业存储厂商，他们在Burst Buffer上没有发力，但是他们在NL_SAS磁盘和HPC专有存储上却一直不懈努力。

Panasas的技术从我一开始借助HPC就吸引着我，ActiveStor 8、9、11、12采用数据控制分离，磁盘内置控制器可以把HDD磁盘性能发挥极致，遗憾的是不知为何，最近几年Panasas一直淡出在我们视野。

至于Seagate，更是把密度和HDD结合的非常完美的典范，ClusterStor可以在5U空间提供84个磁盘容量和16GB/s性能，从最新的宣传来看，性能已经翻番了。他们虽没有采用SSD，但成了完全可以玩转HPC的例子。

站在市场角度，我更希望Mellanox的InfiniBand和Intel的Omni-Path技术都能找到适合发展的市场空间，分别发挥出自己不同的优势，希望Intel收购了Qlogic的InfiniBand业务后又基于True Scale Fabric另辟新径是正确选择。

从Linux，OpenStack，Ceph到Lustre、BeeGFS等。他们的成功说明开放的魅力强大，参与者越多产品才会越稳定，客户才会认同。拥抱开源，基于自己的优势和理解定制化，走出一条自己的路。DDN、Seagate还有很多HPC方案供应商都是这样从中获利的。回首HPC并行文件系统，屈指可数，主流的有Lustre、GPFS、BeeGFS，当然Glustre、Ceph和企业NAS也会在HPC中出现。

Lustre并行文件系统在超大规模(尤其是超算中心)和科教领等对成本敏感的领域，讲到这里，那我们简单谈谈Lustre的架构。

 

Lustre文件系统不管多大，元数据和管理节点（MMU）基本上是固定的，只需根据系统容量配置调整元数据存储（MGT&MDT）的容量即可，数据存储单元SSU是存储基本单元，按需扩展实现容量和性能扩展。Lustre也将在后续章节详细讲解。

GPFS在工业等对成本不敏感应用，对系统稳定性要求较高的系统中份额巨大，个人认为IBM OEM out合作策略弥补了其在闭源上的不足。BeeGFS多采用服务器构建文件系统，主要在欧洲的科研、高校机构，中小型超算场景。

在HPC存储领域，GPFS、Lustre等并行分布式文件系统一直无法被替代，个人认为传统NAS或类iSilon分布式FS有以下几个缺陷:

• 1、对分布式标准NAS认可度不高。HPC国际市场一直是Lustre、GPFS占主导，Panasa PanFS，Stornext和NFS等pFS只扮演参与者的角色。
• 2、性能问题。传统分布式存储为通用目的设计，增值能力太多，软件太厚；导致磁盘性能很难发挥出来。
• 3、空间、能耗太高。几百GB/s的性能动不动就需要近十个机柜。尤其是客户对容量要求不太高、性能极高的场景(如分钟级Check Pointing)。相比之下，Burst Buffer可能三个左右机柜就解决问题了。

面对未来高性能、大带宽应用和业务，网络有哪些要求呢？目前主流的就是100GE以太网、Omni-Path和InfiniBand。在网络互联方面也存在着巨大的竞争，英特尔OmniPath、Mellanox InfiniBand和Ethernet都是HPC目前的主流网络方案。

站在市场角度，我更希望Mellanox的InfiniBand和Intel的Omni-Path技术都能找到适合发展的市场空间，分别发挥出自己不同的优势，希望Intel收购了Qlogic的InfiniBand业务后又基于True Scale Fabric另辟新径是正确选择。

HPC系统能力通过哪些基准来衡量呢？Top500和Green500的排名是衡量HPC系统地位的重要指标。

中国“神威-太湖之光”超级计算机(无锡)和“天河二号”超算系统(广州)多年来在Top500表现优异，虽然成绩优异，但其在Green500的排名还有很大的提供空间。在未来迎接HPDA、云化和HPC HyperScale趋势，只有计算性能和绿色节能兼备才能更好的把握云计算和大数据下HPC的主动权和话语权。

展望未来，HPC的出路到底在哪里？请参看前期文章HPC技术趋势HPDA、深度学习和软件定义等了解HPC趋势和发展。HPC结合大数据是一个方向；目前HPDA已经在大数据和HPC领域结合的比较好了，比如Lustre支持对接Hadoop、支持部署Hbase和Hive。大数据目前应用范围非常广泛，并且跨界融合也很明显，如智慧城市，海量视频分析，要求HPC对接Hadoop实现数据共享，计算资源共享；物联网传感数据分析；以及小文件场景如机器学习、深度学习、基因分析、金融分析和能源分析Scratch层等。

HPC Anywhere结合HPC和云计算，云上HPC实现HPC资源服务化，HPC在互联网分布式应用的HyperScale化都会给HPC带来无限商机。前面我们讨论到的Burst Buffer、专注HDD和专业HPC存储，以及拥抱开源趋势都计划想在HPC行业发展的厂商借鉴的，目前急需要做的就是做好HPC产品规划布局，才能迎接新时代。

在HPC技术领域，投资的最大的新领域是人工智能(AI、HPDA、GPU加速和Deep Learning)。Cloud公共云的应用只占HPC消费的一小部分，但Cloud是增长最快的HPC细分的市场。

 

• 1. 从市场空间来看，美国已经HPC最大的消费市场，美国和加拿大HPC总市场51%。
• 2. 欧洲的跨国财团和亚洲多个国家增长很快(尤其中国市场)，占据HPC市场的24%。
• 3. 亚太也有明显增长，主要包括新加坡、澳大利亚、和韩国等，主要占HPC市场份额22%。

HPC的驱动力在哪里？目前，有大量的应用和行业依赖于HPC，但这些需求仅仅只是拉动市场增长。在整个行业和科学研究中，都有一种永不枯竭的进步渴望: 新技术和创新(AI，HPDA、GPU加速和Deep Learning等)，这才是HPC增长的一个根本原因。数据的海量增长、分析学领域出现，将数据转化为决策见解，高性能的网络和更大的计算能力等等需求推动新一轮HPC的循环。

人工智能

在HPC技术领域投资的最大的新领域是人工智能(Al)。最近在图像、语音和模式识别方面的进步(通过互联网和云计算得到的海量数据)推动了Al的应用革命，并将从本质上改变多个行业。

Al革命的核心是深度学习，这是Al模型的学习过程。深度学习本身有两个阶段: 训练和推理。 在训练阶段，AI模型会消耗大量的数据。包括一些他们要学习的特征数据(例如图片，声不同人说话的声音，信用卡交易诈骗)。整个训练过程会使用深层神经网络来关注关键的信息， 分别从复杂的关系中完成正确的匹配，模型所需的数据越多，AI的这种匹配关系就越准确。

在推理阶段，AI模型必须使用已经学会的信息来对新信息进行分类(例如，识别新图像为猫，新声音为具体哪个单词，或新交易为欺诈)。推理引擎可能会产生False-positive或False-negative错误(但人类可能也会犯错误)，这些错误被反馈到模型中进行进一步的训练。

深度学习的训练部分往往依赖于高性能计算技术。特别是，深度学习和Al的进步很大程度上是由大型云公司驱动。如谷歌，微软、Facebook、亚马逊、苹果、腾讯和百度。对Al进行投资和研究的公司会在内部的HPC资源上运行他们的模型，但他们通常会找云计算供应商来提供服务。

AI有可能彻底改变市场的一个例子就是汽车自动驾驶，这是基于多年汽车数据收集和分析的AI算法与汽车应用完美结合的例子。Al也被公认为是一种提高医学诊断的技术。此外，Al已经在零售也和消费应用领域展广泛应用。

高性能计算和云

目前，虽然公有云是HPC市场上增长最快的部分，但它的使用只占HPC消费的一小部分。造成这种情况的主要原因是: 只有当HPC本地资源不够用时，公共云资源才会发挥作用，也就是说，在公有云只有再相对较短的时间内被租用。HPC用户偶尔爆发使用资源，超过峰值容量、性能，而这些爆发使用的场景采用云才会更经济、更高效。

针对租用外部HPC资源来运行应用程序或工作负载或存储HPC数据，分析发现许多组织使用私有云，虚拟化网络提供HPC功能，并形成混合云方案，一则充分利用内部资源，二则根据预先确定的规则，有选择地使用公共云。

新兴高性算技术

随着HPC市场继续扩大，用于满足高性能需求的技术的大量涌现。在处理器选项方面最为显著。Intel x86处理器仍然是服务器的主要选择，即使在英特尔x86处理器中也有多核心Xeon和Xeon Phi选项，每一个选项都有多配种置。用户还可以选择GPU处理器(NVIDIA是主要的提供者)或FPGA加速基本处理器性能(关于GPU加速HPC性能，请参阅: HPC应用对GPU计算支持现状解析)。

ARM正在成为未来的竞争者，未来也可能会出现量子计算。在2016年，Intersect360的一项调查中，发现88%的HPC用户计划在未来几年支持多种处理器架构，将工作负载匹配到最适合处理器和技术。

 

然而，处理器架构并不是唯一正在发生变化的元素。在网络互联方面也存在着巨大的竞争，英特尔OmniPath、Mellanox InfiniBand和Ethernet解决方案也在竞争。高性能存储市场也已经扩展到分层(闪存、磁盘、磁带和云)、数据管理等解决方案。

当然，关于中间件，用户会寻找管理、资源供应和优化复杂HPC环境的最佳解决方案。目前，部署高效的HPC环境变得比以往任何时候都更加复杂，但同时又是一件紧迫的事，因为各组织都在努力推动HPC的建设。在商业市场上，HPC用户将从值得信任的供应商那里寻找经过验证的最佳解决方案。