基于Infiniband高性能集群硬件配置方案

               

   
  摩尔定律的一再验证残酷的揭示了一个现实：速度是技术发展的终极目标。高性能计算领域也是一样，如何使高性能计算平台运行的更快、更高效一直是服务器厂商研究的方向，曙光作为中国高性能计算的领头羊，作为高端服务器厂商，也在为此做着不懈的努力。Infiniband高速网络是近几年产生的一种新兴技术，因其具有高带宽、低延迟的特色，得到了计算领域的青睐。本文介绍了Infiniband的硬件组成及其在不同应用中的选择依据，最后通过四个案例进行分析，构建一套符合用户需求的高性能计算网络。 

1. 前言

    近年来，世界上的超级计算已经由价格昂贵、无扩展性的单片机架构转变为采用商业处理器而拥有无限扩展能力的集群系统，称为高性能计算机集群（HPC：High Performance Computing）。美国Top500.org组织每年分别两次排列出当今世界上最强大的超级计算机，该排名按照超级计算机的实际计算能力（FLOPS：每秒浮点运算）按递减顺序排列。这个列表显示出集群架构正在逐渐取代单片机架构的趋势。由于HPC系统能够快速准确计算出结果，有助于解决商业和科学研究中面临的问题，所以，HPC系统越来越多的被政府部门、商业组织和科学院所采用。

    然而，有一些部门和组织所面临的是更具挑战性的计算问题，他们需要更强大、高性能价格比的HPC系统。这就意味着人们必须要关注大集群的建设，这里的大集群是指规模超过100个节点，达到几百个、上千个甚至上万个节点的集群系统；将集群系统扩展到这样的规模而带来的困难和复杂程度是难以想象的；使这样规模的集群能够正常、稳定的工作也是一个痛苦的过程。在超级计算机发展的道路上不乏失败了的大型HPC系统的“尸体”，也说明了这是一个值得研究的问题。

    选择一个正确的互连网络是能否达到甚至超过您对集群性能预期的关键。如上所述，一个集群中需要支持多种类型的数据流，所以，我们可以选择在同一集群中同时采用不同类型的互联网络，这些不同的网络将各自支持不同的网络协议，同时，这些不同的网络也拥有不同的网络性能和特性。例如，基于千兆以太网的网络，可以通过TCP/IP通道来传输信息，但缺点是需要占用大量CPU资源来处理网络通信，导致整体处理效率的下降；Myrinet 网络采用卸载引擎（offload engine）技术降低了CPU资源在处理通信方面的消耗，并且拥有千兆以太网两倍的带宽。在目前的Top500排名上千兆以太网技术和Myrinet都很普遍；然而Infiniband，由于是一个标准化的、开放的高性能互联技术平台，从小规模到大规模的可扩展性集群中也拥有很强的生命力。

2. Infiniband背景介绍 
2.1. Infiniband发展历史

    Infiniband是一种新型的总线结构，它可以消除目前阻碍服务器和存储系统的瓶颈问题，是一种将服务器、网络设备和存储设备连接在一起的交换结构的I/O技术。 它是一种致力于服务器端而不是PC端的高性能I/O技术。

    Infiniband最初于2000年上市，但由于当时经济的不景气和IT预算紧缩，人们对它的兴趣很快就消散了。发展至今，I/O技术在企业服务器中无论是速率上还是吞吐量上都取得了稳步提高。但是，毫无疑问，现有的基于PCI架构的I/O技术仍然是系统处理器、系统主存以及I/O外设之间的主要瓶颈。这种I/O架构已经不能满足互联网、电子商务、存储网络等大量的I/O需求。随着对称多处理器（SMP）、集群计算、网格以及远程备份的广泛应用，这种基于PCI架构的I/O技术的缺陷和局限性日益突出。目前人们对互连技术的兴趣开始恢复，而且非常希望互连技术能够帮助数据中心降低成本或实现高性能的计算。随着各种高速I/O标准相继登场，Infiniband逐渐崭露头角。

    Infiniband技术通过一种交换式通信组织（Switched Communications Fabric）提供了较局部总线技术更高的性能，它通过硬件提供了可靠的传输层级的点到点连接，并在线路上支持消息传递和内存映像技术。不同于PCI，Infiniband允许多个I/O外设无延迟、无拥塞地同时向处理器发出数据请求 。   目前，集群计算（Cluster）、存储区域网（SAN）、网格、内部处理器通信(IPC)等高端领域对高带宽、高扩展性、高QoS以及高RAS(Reliability、Availability and Serviceability)等有迫切需求，Infiniband技术为实现这些高端需求提供了可靠的保障。

2.2. Infiniband发展趋势

    基于共享总线（Shared-Bus）的架构的诸多局限性决定了这项I/O技术已经不能适合日益庞大的计算机系统的I/O需求。这些局限性主要包括速率极限、可扩展性、单点故障等几个主要方面。而基于交换架构的Infiniband技术在避开PCI架构上述问题的同时，提供了其他方面的更高性能。基于Fabric与基于共享总线I/O技术之间的简要对比如下表所示。

1．Shared-Bus架构的局限性

    PCI-X 133的带宽只有2GB/s，虽然目前公布的PCI-E的带宽峰值到4GBps，但这没有从根本上缓解服务器端的I/O带宽瓶颈。同样，PCI架构(主要是PCI-X)的可扩展性也非常有限，它主要通过两种方式来实现：要么增加同层PCI总线（PCI本身就是一种层次结构I/O技术），要么增加PCI-to-PCI桥。前者主要通过在主板上集成额外的Host-to-PCI总线芯片以及增加PCI连接器来实现，而后者主要通过在主板上增加PCI-to-PCI桥接芯片来实现。无论采用什么方式扩展PCI架构的I/O总线，其代价都是比较昂贵的。 
在基于共享总线的I/O结构中，所有通信共享单一总线带宽，由此就造成外设越多，可用带宽就越少，从而带来更严重的系统I/O瓶颈。不仅如此，在基于共享并行I/O总线上，大量的引脚数目也带来了一定的电气特性和机械特性等问题，使得PCB空间、信号频率以及信号可传输距离都受到很大程度的制约。
 

2．Switched Fabric体系结构的高可扩性

    Infiniband所采用的交换结构（Switched Fabric）是一种面向系统故障容忍性和可扩展性的基于交换的点到点互联结构。这种结构如下图所示。
 

    在上图中，通过向Infiniband系统添加交换机可以很容易地实现I/O系统的扩展，进而允许更多的终端设备接入到I/O系统。与基于共享总线的I/O系统相反，这种Switched Fabric系统的总体带宽会随着所接入交换设备数目的增加而不断提高。另外，正如上图所指出的那样，通过在Infiniband子结构之间添加路由设备，可以更大范围地扩充整个Infiniband系统。

    Infiniband技术是一种开放标准的、目前全球带宽最高的高速网络互联技术，Infiniband产品是目前主流的高性能计算机互连设备之一。目前基于Infiniband技术的网络卡的单端口带宽最大可达到20Gbps，基于Infiniband的交换机的单端口带宽最大可达60Gbps，单交换机芯片可以支持达480Gbit每秒的带宽。到2006年，Infiniband技术可以达到单端口120Gbps，其单端口的带宽甚至远高于目前的主流交换机的总带宽,可以为目前和未来对于网络带宽要求非常苛刻的应用提供了可靠的解决方案。

    Infiniband技术是采用RDMA传输机制实现了低延迟，高带宽的新型网络标准，并得到了行业中所有领军企业的支持；部分服务器厂家已经或计划将Infiniband芯片移植到主板上。

    Infiniband 架构的这种快速增长主要得益于越来越多的企业级数据中心的建立部署和持续发展的高性能计算的应用。

2004年1月，IBM开始将Infiniband技术应用于其解决方案； 
2004年1月，SUN 开始推出Infiniband解决方案； 
2004年2月，HP的Infiniband 产品在市场上出现； 
2004年2月，Dell 开始推出Infiniband解决方案； 
2004年5月，SKY Computer 的嵌入式Infiniband方案被用于军事和工业应用； 
2004年6月，NEC开始应用Infiniband到NEC刀片式服务器； 
2004年6月，SBS 公司率先宣布推出基于VXWorks的 InfninBand 驱动； 
2004年， HP和 Oracle多次刷新TPCH性能测试纪录； 
2004年11月，在美国国家航空和宇宙航行局(NCSA)，SGI完成了基于Infiniband互联技术的超级计算机，其运算速度位居世界第二。 
2005年4月，Cisco 公司宣布收购 Infiniband 方案提供商-Topspin， 成为 Infiniband 产品的最大用户。

    除此之外，Apple、Hitachi、Fujitsu等厂商也都已推出了基于Infiniband的解决方案；Engenio、NetApp、DataDirect、Engenio、Isilon、Terrascale和CFS等存储厂商也已推出或即将推出基于Infiniband技术的存储解决方案；Arima,、Iwill,、SuperMicro和Tyan等服务器主机板厂商也陆续推出了基于Infiniband芯片的LOM(Landed on Mainboard)方案。

    而基于Infiniband技术的芯片、网卡和交换机主要供应商Mellanox公司已取得里程碑式的销售成绩----50万个 Infiniband 端口，这些端口体现在多种产品形式上，包括：集群服务器、高带宽交换机、嵌入式平台和集群存储系统。

    “因为 Infiniband 有着极佳的扩展性与性能，由许多公司包括Mellanox在内所生产的10Gb/s适配卡，会帮助用户压低集群中每个节点的成本，”英特尔 数字企业集团行销主管 Jim Pappas 说道：“ Infiniband 产品种类的增多对应用于商业和科学计算领域的 10Gb/s 带宽计算机集群的发展有着积极的影响。”另外，InfiniHost III Lx HCA 卡把这种高性能通讯技术同时打入了高速存储和嵌入式应用这两个市场。

    由此可见，Infiniband的整体解决方案已经成形，这个整体解决方案的出现，必将带来高性能计算平台和数据中心的一次变革，让长期以来一直高高在上的高性能解决方案变得大众化。

2.3. Infiniband技术特色
 

图示ÿ