Intersect360对HPC用户现网系统中三个应用领域(系统互联、存储网络和局域网LAN)的网络类型和供应商的情况进行调研，调查的主要结果包括:
以太网和InfiniBand是两种主要的网络协议，在系统互连、存储网络和局域网三个领域中都保持着竞争。在不考虑数据速率的情况下，以太网是这三个应用领域中应用最普遍的。对于性能更高的网络互连，InfiniBand(尤其是40G)研究报告显示是使用数量最多的。
约2/3的受访站点反馈在其网站上部署安装了以太网和InfiniBand。
10GE以太网在存储网络最多，包括从GE以太网升级业务而来的，超过InfiniBand安装数量。
Mellanox是系统互连最常见的供应商，42%的用户提到使用该网络，35%的用户提到在存储网络使用该网络。思科仍然是局域网市场的领先供应商，有46%的用户采用思科网络。
Mellanox在每个领域都获得了市场份额。在系统互连占42%，存储网络占35%，局域网络占13%。
报告显示正如预期，以太网占据了这些站点的大部分局域网网络实现，10千兆以太网和千兆以太网各占35%。预计千兆位以太网在未来几年的市场份额将缓慢下降。
Intersect360利用基于Web的调查工具调查了来自行业、政府和学术界的高性能计算的用户，收集并展示了关于硬件、软件和网络配置的信息。受访者列出他们的高性能计算服务器、存储、网络、中间件和应用软件的特征。
Intersect360研究公司每年进行大规模的普查。在2016年第二和第三季度连续第9次的调查，收到了来自240个站点的回复，在2016年的普查报告中，共涉及487个高性能站点信息(包含之前两次调查)。收集和调查地点数据的目标包括:
开发需求侧数据，用于跟踪和建模高性能计算市场在机房、供应商定位、技术采用、用户购买模式等领域的基本特征。
收集和比较需求端数据和供应端数据，以便准确构建整个HPC生态系统。
随着时间的推移跟踪这些特性的趋势。
支持我们的高性能计算市场规模和预测模型。
站点调查产生了大量的及到供应商对市场的渗透、体系结构、处理器、互连、存储和软件以及购买模式数据。这些信息在我们的现场普查报告系列中被提出和分析。本报告概述了在HPC用户站点互连和网络情况(系统、存储和LAN)。总共有474个站点， 723个高性能计算系统、633个存储系统和638个局域网的互连和网络特性。
在调查中，我们询问了受访者关于安装在三种场景的互连和网络的特点:
1)刀片服务器、集群和MPP系统的系统互连;
2)存储网络;
3)局域网或机房局域网(以下简称局域网)。
三个应用领域网络类型比较
以太网(所有数据速率)是所有三种场景使用的主要技术，主要是由于千兆位以太网的优势。该表的主要内容包括:
超过30%的系统互连和局域网使用1GE以太网。Intersect360认为这些较慢的技术通常用于集群上的二级管理连接，以及小型面向吞吐量的集群的主要互连。
•大约72%的千兆位以太网被认为是次要的互连，而不是主要的。千兆以太网作为标准的集群互连系统出现在许多系统中，这使得它在分布式内存系统中得到了广泛的应用。
InfiniBand继续是高性能系统互联的首选。如果不包括以太网1GE，InfiniBand的安装量大约是以太网(10G、40G和100G)的总安装量的两倍。在InfiniBand安装中，InfiniBand 40G仍然是安装最多的。然而，对于2014年以后的系统来说，InfiniBand 56G是最受欢迎的系统选择。
10千兆以太网在存储和局域网安装中使用的比任何其他协议都多。报告显示，10千兆以太网的安装占所有存储网络的35%，InfiniBand一直在逐步增加其存储网络的份额，从31%增加到34%，几乎所有的份额都来自InfiniBand 56G。
2016年Omni-Path安装在系统互连和存储网络中所占的份额很小(小于1%)。Omni-Path于2016年第一季度开始上量。因此，我们预计在以后的调查中会越来越多。
高性能计算站点互连和网络类型
下面图示说明了在调查站点上安装了哪种主要网络类型，以及在HPC基础设施上使用的主要网络标准。统计数据是根据现场数量计算，使用相同的系统互连或网络类型在一个站点上的多个系统或网络只计算一次。
下图显示安装了至少一种主要网络类型(千兆位以太网或更慢、10千兆位以太网或更快、InfiniBand)共享的站点。显示31%的站点，也是最大的份额的共享，统计包括所有三种网络类型。接下来两个最大的份额是InfiniBand和一种以太网的站点。大约65%的站点都在现场安装了InfiniBand和以太网。这说明了站点网络安装的多样性和复杂性。
图示说明了每个网络协议的使用位置。以太网(所有速率)、10千兆位以太网或更快的以太网和InfiniBand分别给出。百分比表示安装了特定网络的站点的份额。例如，446个以太网站点中有45%在所有领域(系统互连、存储网络和LAN)使用该技术，而25%仅在系统互连和LAN中使用该技术。
高速以太网 (10G、40G和100G)的站点常主要用于存储网络和局域网，如果它也用于该站点的LAN或存储网络，则更可能用作系统互连。
InfiniBand安装在一个或多个应用领域，占69%，与过去几次调查所得的比例大致相同。InfiniBand在存储网络上的使用有所增加，在使用InfiniBand的站点中，大约有56%的站点使用InfiniBand。Intersect360认为，在任何地区选择InfiniBand的用户，都是出于对更高性能的需求，尤其是更高的带宽和更低的延迟，这两个指标上，InfiniBand一直在以太网络上保持着优势。选择InfiniBand作为系统互连的用户，在将其扩展到存储网络时，可能也在利用这个架构优势。
每个应用领域互连网络和供应商
在51家顶级网络供应商中，有20家在所有三个应用领域都有产品。Mellanox在系统互连和存储网络中被用户提及的次数最多，是在系统互连方面的最强代表。思科在局域网产品中提及次数最多。Mellanox和思科两个供应商在报告中，安装数量占50%以上。
随着技术变得更加标准化和可靠，用户往往会对特定的供应商失去兴趣和忠诚度。这种趋势反映在用户将系统或存储供应商与系统中的组件技术相互关系。无论供应商在该系统上安装了多少网络组件，所提及的每个站点网络供应商都被算作一次统计。完整的供应商列表请参考报告原文。
结论
对速度的需求几乎是高性能计算和互连的主要驱动力，网络也不例外。下图显示InfiniBand系统互连技术向更高速度过渡。对于2007年的系统，我们看到InfiniBand10G和20G之间的分布大致相同。到2009年，更多的系统使用InfiniBand 40G。InfiniBand 40G在2014年之前占据了系统的大部分份额，当时InfiniBand 56G接管了主要的安装系统互连，这一转变非常迅速，最新的性能领导者在两到三年内占据了大部分出货量。
存储网络也在向最新技术的快速过渡。类似大多数技术，用户试图优化、向最新或更快互连网络过渡，这似乎与服务器的生命周期(每两到三年)的速度差不多。每次系统更新时，都会选择最新或最好价格/性能互连网络。
网络性能的另一个驱动力是应用程序的并行化趋势。随着单线程性能的极限，用户必须重写应用程序，以便更好地使用并行性。一阶并行化可以使用每个处理器的更多内核，向量或SIMD编程模型的OpenMP风格多线程软件。
然而，向量模型并不是在所有情况下都有效。这种情况将迫使用户探索消息传递或MIMD解决方案，其中应用程序性能与网络的延迟和带宽特性或处理器节点之间的互连紧密相连。长期以来，为并行应用程序性能构建互连结构一直是MPP系统的主要关注点，MPP系统是围绕专有互连构建的，而超级计算机集群往往使用最快的通用网络技术。在所有级别上实现更大的应用程序并行化的趋势，将推动市场对网络性能的需求不断走向高带宽、低延时。
在这三个应用领域中，至少有两个供应商占了超过50%的比例。Mellanox和Intel在系统互连，Mellanox和Cisco在存储网络和局域网。这三个供应商的网络组件都是基于以太网或InfiniBand。
2016年，Omni-Path向高性能计算市场普及。英特尔在2012年从QLogic手中收购了技术，成为了InfiniBand 网络的供应商，该公司现在以TrueScale品牌销售。
在2016年的调查中，只有少数用户(15%)提到了Omni-Path。尽管这一份额远远落后于Mellanox，但英特尔将通过引入Omni-Path技术，将其互连技术集成到其处理器路线图中。这可能会在很大程度上改变系统Fabric业务的架构，因为英特尔可能会开始将网络作为英特尔处理环境的特性扩展进行营销。就目前而言，Mellanox在战略上和行动上都先发制人，但是Mellanox花落谁家，未来该如何走，只能拭目以待。
关于IS360 HPC网络分析报告，请文末留言，并联系作者获取。关于更多HPC、Omni-Path、Infiniband、pFS等技术，请点击原文链接获取更多内容。
推荐阅读：
温馨提示：
请搜索“ICT_Architect”或“扫一扫”二维码关注公众号，点击原文链接获取更多电子书详情。
求知若渴, 虚心若愚
916
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
