基于InfiniBand的存储系统发展过程

 

1.0    InfiniBand存储的过去，现在和将来

 

     2001年初，第一块InfiniBand适配卡和交换系统在市场中出现。作为一种拥有每秒10GB的性能，并支持传输卸载的工业标准，许多人相信InfiniBand技术将很快能同光纤通道技术争夺市场，图1展示了InfiniBand和2Gb/s光纤通道访问磁盘媒介时的单端口吞吐量对比。然而，就像任何典型的新技术一样，其推广速度慢于原先估计的速度——不可避免地，硅技术和软件解决方案的成熟需要时间，并且缩短提高性价比的途径才能取得市场成功。此外，从2001年末开始，技术市场陷入了从未有过的一片低迷之中，而且，最终存储领域也未能幸免。在此技术低迷时期，一些权威评论者认为InfiniBand技术将会死亡。

       幸运的是，支持InfiniBand技术的团体仍然致力于发展具有改良特性的InfiniBand产品，同时，大力开发完备而健壮的专用软件系统。图2展示了支持并致力于InfiniBand发展的主要服务器厂商。最终，这将导致一种强有力的系统的产品的引入，该产品将被所有InfiniBand技术采用，而所有主要服务器制造商、客户部署和实际的性价比都将证实这一点。此外，InfiniBand技术被服务器制造商集成于主板之上，运用到基于InfiniBand构架服务器的刀片式解决方案中——进一步降低价格，简化群集和I/O聚合。这些成就使得InfiniBand被引入到企业级市场，包括群集数据库、金融群集计算、科学群集计算和高性能群集计算，并得到了广泛应用。这些成功使得InfiniBand产品制造商抢占了企业数据中心领域的摊头市场，收入颇丰，而这又将促成这些制造商更加致力于发展新的该类产品，提高其性价比。这些市场成功的亮点在于提出了应再次考虑InfiniBand在数据中心尤其在存储方面的地位。

 

 

2.0 群集滩头市场

       基本上，其成功得益于敏锐地将市场定位于群集工业标准服务器领域，只用相当于传统的SMP的一部分价格获得了大型机的性能。InfiniBand成功地抢占了这个滩头市场，而其客户只用了1/10的传统大型机的价格即可获得2倍于该机型的性能。以IBM的白皮书为例(http://www.pc.ibm.com/ww/eserver/scries/  linux_update/pubs/misc/topspin.pdf),它论证了InfiniBand群集的高性价比。价格优势是明显的，而持谨慎论者也惊奇于其以极低的价格而获得高可用性的奇迹。  

       由于如此的高性价比，许多服务器制造商在商务计算和科学计算应用上都使用了InfiniBand群集技术。基本上，主要的服务器制造商都将InfiniBand作为其服务器工业标准的一部分，并且将更加强大的InfiniBand群集解决方案应用于其中高端服务器。

       在服务器市场取得的成功促使了InfiniBand技术向存储领域的发展，进一步提升现有意义上的性价比将是InfiniBand超越光纤通道技术。

2.1 InfiniBand群集在商务计算中的Scale Out性能

       InfiniBand被证明为对符合工业标准的服务器的"sdacle out"的理想互联方式，在解决商务问题的应用中具有高性能，高可靠性和可接受的价格的优点。所谓"scale out"的解决方案是指能够与遵从多种工业标准的服务器进行高性能的互联，同时具备相关的软件用于解决传统大型机和超级计算机所解决的问题。这不同于以往所采用的"scale up"的解决方案，该种方案是利用专用的处理机和互联方式去构建一个“大盒子”作为计算平台。由于其低等待时间，采用10Gb/s的InfiniBanad的群集服务器可以用仅相当于SMP机部分成本即可获得SMP机的处理能力。这点可清楚地从典型的32路SMP系统和由服务器搭建起来的有32个处理器的InfiniBand群集构架比较得出，如图4所示，InfiniBand只用SMP 1/10的成本换来100%的性能。

 

3.0 服务器互连同存储领域的关联

       利用"scale out"方案的另一个好处是，你可以方便的随时升级你的系统，以满足业务发展对性能的新要求。与此相反，当采用SMP方案时，则需要事先对你的需求进行评估，对以后的发展进行计划，从而定制一个满足这些要求的系统。预测将来是困难的，最好的情况是你成功的预测了将来的需求，提前投入，然而即便如此，这也是一种浪费，因为在前期，你并不需要这种功能。最坏的情况是，需求超出了原先的预计，这将带来更大的损失，你不得不为这些不曾预见到的需求重新部署你的系统。

       正因为这些原因，"InfiniBand scaleout"解决方案被广泛的应用于商务应用软件中。比如，数据库软件中的Oracle 10g 和IBM DB2就充分利用了"InfiniBand"的"scale out"解决方案以获得高性价比和可伸缩性。由Oracle发布的白皮书中对用基于工业标准的服务器构建InfiniBand群集所获得的性能进行了论述(http://www.oracle.com/technology//deploy/availability/pdf/oracle_IB.pdf)。

       显然地，InfiniBand已经确定了其在商务计算和科学计算中服务器互联方案的领导地位。那么，InfiniBand又是如何在存储器间通信领域发挥作用的呢？

       存储器和服务器是携手并进的。一般，你可以对数据进行以下操作：

u      修改

u      移动

u      存储

       首先来看修改数据。对数据的处理、转换和改变是所有计算机都要涉及的任务。从前边的解释中，我们可以看到，InfiniBand是一种建立真正可伸缩计算平台的有效方式，即是构造一个基于符合工业标准服务器的分布式InfiniBand群集环境。

       第二个功能是数据转移。这是I/O中的问题。数据转移有两种有效的形式：

n        服务器间的数据传送

n        服务器与存储器间的数据传送

       同样地，由于拥有每秒10Gb的传送速率，更低的等待时间，远程直接内存存取，和内核旁路等优点，InfiniBand 被确定为服务器间通信的标准，有趣的是，InfiniBand不但成为服务器间通信的标准，而且也是服务器与存储器间通信的标准。更重要的是，InfiniBand拥有更好的带宽性能和更好的可伸缩性。

       最后是数据存储。在这里，真正的价值在于存储系统内部——诸如容错技术、虚拟化、备份和镜像这样的特性。有趣的是，这些“存储盒子内部”的特性对于修改和移动数据的影响更甚于存储数据本身。这就无怪乎存储器制造商将InfiniBand内置在存储系统中以实现上述功能。对于存储器平台，将InfiniBand内置于存储系统中也就使用InfiniBand实现了存储器间的互联。

3.1 InfiniBand服务器群集的使用推动了InfiniBand存储

       把InfiniBand成功地用于服务器间通信的背后是对本地InfiniBand存储体系的更新的要求。这就是为什么比较倾向于用InfiniBand群集解决方案取代传统的SMP方案。正如2.1节所展示的那样。顾客会认可这种用1/10的代价换取同样性能的方案。现在就让我们来考虑一下存储系统中的问题。

       如果客户已经有一个基于光纤SAN的存储解决方案，这时本质上有两个方案可供选择：

       I-为群集中的每个主机增加一个光纤通道适配器，以使其连接到FC SAN

       II-利用专门的InfiniBand网关将InfiniBand群集透明地连结到FC SAN

其中，第二个方案会更有效，因为它通过转换设备直接将每个服务器节点互连。通过使用InfiniBand网关可以提供平衡的存储器互联支持。此外，只需为存储器平台根据需求预留FC网络连接端口。InfiniBand连接的高速性能提供了很多超前的特性支持，而且对于当前存在的光纤通道存储管理软件具有透明性。

       如果新安装的存储器构架结采用InfiniBand技术将获得更好的价格优势。InfiniBand群集互联和网络存储相结合，利用InfiniBand结构作为网络系统支持大范围的互联功能。在这种情况下，对网关端口的需求完全消失了。这又进一步的降低了成本，简化了系统结构。

       让我们看一个具体的例子来对此有一个更加清晰的认识。考虑一个如图5所示的16节点的InfiniBand群集，其中每个服务器节点配备一个主机通道适配器，并用24个网点接线器进行连接。假定OEM对其的定价为每个InfiniBand 主机适配器大约500美元，每个10Gb/s的InfiniBand交换口定价300美元，那么一个支持InfiniBand的通信系统造价为15500美元。

       现在将存储器加入到图5中。如果我们采用光纤通道存储，那么需要一个光纤通道转换器以提供存储器连接服务。为实现光纤通道服务器的互联需要为每个服务器增加一个500美元的主机总线适配器。假定目标存储平台需要4个主机总线适配器，尽管一个2Gb/s的光纤通道交换口价格为700美元。因此将光纤通道存储器互联的成本（超过27000美元)加上上边的计算结果，该网络系统的造价将超过43000美元.  

      当使用本地IntiniBand存储代替光纤通道时的情形。在这个方案中，每个服务器已经通过InfiniBand 主机适配器与系统网络连接起来。而增加的额外投入几乎为0。同样的，群集中使用的交换机也可用于存储器，这样，增加的投入又几乎为0。唯一需要增加的是4块用于存储器内部的InfiniBand主机通道适配器。因此采用InfiniBand技术的存储方案仅需要2000美元，比采用光纤通道的27000美元的追加要合算得多!实际上，存储目标适配器的成本隐藏在存储平台的成本下面，因此本质上来说，使用InfiniBand存储结构几乎是免费的。建立一个统一的InfiniBand网络系统方案的花费是17500美元，远低于使用光纤通道方案的43000美元的成本。

 

       这些数据归纳在下列表格中以供比较：

       实际上，InfiniBand服务器群集引入了一种新的商业对象，而且拉动了对基于InfiniBand 存储的需求。

4.0 曾经的高度

       InfiniBand 在网络系统中的潜力早就被认识到，而且它作为服务器和存储器互联领域的一项技术有着许多的吹嘘之处。虽然存储器厂商最初所采用的这项技术曾经逐渐淡出存储器市场，然而今天，它又被首先应用在存储器互联中。过去只是一个开始，更重要的是要认识到今天InfiniBand在存储器市场所取得的非凡成就。

 

       首先，我们应该了解什么是没有变化的。InfiniBand技术仍然拥有以下4个优点：

l        基于标准的协议

l        每秒10Gb的性能

l        远程直接内存存取（RDMA）

l        由硬件支持的传输

       另外，InfiniBand 提供了比光纤通道技术更好的性价比。第三，InfiniBand 技术团体拟定了在未来两年内提升其性能的计划，预计到2005年，将它从10Gb/s的传输性能提高到20Gb/s,到2006年，实现由100Gb/s到200Gb/s的转变，而相对于8-10Gb/s的光纤通道必定取得更高的性能优势。第四，InfiniBand技术统一了数据中心的信息交付（无论是群集个体间还是存储器间的），因此，简化了管理系统，降低了运作费用。

       那么，在过去的6个月到9个月，又是什么使得 InfiniBand 在企业级存储器领域的应用前景被戏剧性的提高呢？首先，应该是InfiniBand技术被各大服务器制造商应用于分布式群集系统中，并拥有逐渐壮大的客户群。InfiniBand技术抢占了群集服务器的滩头市场是其进入存储器市场的先导条件。而那些没有认识到这一点，在服务器主机通道适配器市场还未趋完备就将该技术对准存储器市场的都无一幸免的失败了。现在，随着InfiniBand群集服务器市场的发展，对InfiniBand存储的需求也在增长。

       与几年前相比的第二个变化是InfiniBand系统的软件基础更加成熟，对许多应用都提供了支持。OpenIB.org(www.openib.org)是一个开放源码发展计划，提供InfiniBand栈式存储的软件支持。它提供适用于InfiniBand系统的稳定完备的驱动程序包括几种主要存储协议的中间件以支持各种存储体系。综合的可用性，OFF-THE-SHELF，和即时可用的存储器驱动程序与相对不成熟的InfiniBand栈式存储器软件（特别是在9个月以前）形成鲜明的对比。存储器软件的可用性是指OEM只需在一个健壮的协议基础（如FC,SCSI,NFS API等)上，集中精力于集成组件以提供更多的特性，而无需考虑这些协议的具体内容，这就要求透明性，使得应用程序可以直接进行移植。

       第三个变化使InfiniBand的影响已经超出了最初的高性能计算机市场，进入到商务计算机的竞争行列之中，而对其上应用软件的需求也扩展到包括群集数据库、制造业、金融系统以及其它数据中心的相应软件支持。

       最后一个变化是通用的存储器发展平台提供了10倍于光纤通道的性价比。NTD1000就是本地InfiniBand存储平台的一个很好的例子。它的性能是目前最优秀的光纤通道平台的4倍，而成本却只相当于其40%。

5.0 基于InfiniBand的存储平台

       在“Storage Networking World 2004 ” 上 Mellanox介绍了第一个InfiniBand存储平台。参照所制定的标准，该平台上的磁盘吞吐量达到了800MB/s。该存储平台极大地加速了原始设备制造商对此类产品的发展和上市。如图8展示了基于InfiniBand技术和光纤通道技术的数据吞吐量对比。

 

6.0 InfiniBand存储中的关键应用驱动程序

群集服务器市场的发展带动了InfiniBand存储的发展，事实上，存储市场才刚刚活跃起来，并且执行许多敏感应用程序都依赖于群集，这更加促使了InfiniBand存储的发展：

u      备份/无磁盘备份

u      镜像/快照/检查点

u      流媒体/图像

u      基于群集存储的灾难恢复

u      数据仓库

       这些应用程序都直接得益于由InfiniBand方案提供的高性价比——无论是使用InfiniBand群集技术还是非群集计算的解决方案。

7.0 全文总结

       InfiniBand 技术强占了高性能计算和数据中心的商务计算的摊头市场。各个主要的服务器制造商都提供了 InfiniBand 解决方案，并且该方案的采用率不断提高，应用程序对它的支持也在不断完善。这些成果又推动了 InfiniBnad 存储市场的发展。作为一个提供了 10Gb/s 传输性能和传输卸载的工业标准， InfiniBand 比光纤通道拥有更诱人的性价比。这个优势在使用 InfiniBand 群集网络作为存储器的群集环境下更加明显。适用于 InfiniBand 系统的软件、平台、管理系统和应用程序支持的发展提高了 InfiniBand 在存储器市场的占有率。而对 InfiniBand 存储的本地化要求来源于实际应用中的高性能、低成本，以及更好的综合性能的要求。事实上服务器市场和存储器市场是齐头并进的，因此，对 InfiniBand 存储的要求持续增长， InfiniBand 技术将带领我们进入数据中心的集中化。