SAS 交换技术助力实现数据中心资源池化

SAS 交换技术助力实现数据中心资源池化

—— HCC媒体交流纪要

廖恒

    技术不断演进的今天，数据中心的硬件架构有两种主流的部署模式（如图１）。目前数据中心普遍采用的是以单节点为单位，定义并配置设备。尽管最终体现也是在机架上配置服务器，但作为功能部件仍然是单独配置和定义的——这个模式可以说是代表今天最主流的一种部署模式。第二种模式是整机架的部署模式，就是将整个机架当成一个部署节点，多服务器、多硬盘、SSD等均作为一个硬件整体。

图1 两种节点模式比较

    这两种模式派生出的体系结构实际上具有显著的不同。首先，目前较为普遍的单节点部署模式，节点单位资源不共享，整个设计理念是基于简洁的设计，通过增加节点数目来实现几乎是无限的可扩展性；而整机架模式则是把整个机架当成一个部署设备，以实现机架级的资源池化。机架模式的设计理念不再单一强调说单个服务器的成本最低，而是考虑整体的TCO的优化。

    其次， 两种模式关注点也有所差异。对于节点模式而言，数据中心用户会非常关心一台服务器的性能是否最高，功耗是否最低，成本是否最低等等。而在整机架部署的模式，数据中心用户除了关注这个节点每一个服务器本身之外，还要考虑整个资源池的配置灵活度，怎么样去实现这样的灵活度，以及如何提供足够的互联带宽来支撑这种解耦合。通常来说，对于业务模式相对单一的互联网公司例如优酷这样的视频网站来说，他们会更关注单节点部署的模式，而对于像腾讯、阿里巴巴这种业务模式多样化的公司而言，则必然会考虑是否能通过资源池化进行整机架部署。

    然而这些不同，最终具体体现在组成服务器或整机架的芯片、器件和板卡上的差异化需求。针对节点模式，为了覆盖各种不同的应用，就会出现多种类的服务器节点，包括：计算能力很强、可能需要SSD、但存储容量不一定很大的品种；或者是存储容量非常多、而计算性能并不那么高的品种等。对于OEM或ODM而言，为了覆盖如此多的种类，就需要提供15个盘的服务器、或20个盘的服务器、也有可能是80个盘的服务器等多种选择。 而这就需要PMC在芯片层级提供多口弹性化的规格，从而让厂商比较容易或者用最短的定制研发周期即可实现最终数据中心用户所需的各种节点类型。针对整机架模式，因为存储资源和计算资源已经解耦合了，故而极大地减少了服务器的类型。仅有的类型差异也仅限于计算性能或者内存等因素的不同，而存储作为一个变量就从服务器设计中剔除了。但是，整机架部署涉及到更复杂的系统级的体系结构，也就是说整机架部署的复杂度要远高于节点模式，有赖于数据中心用户、ODM\OEM以及PMC这样的方案提供商之间的协同合作。

    在目前主流的单节点部署中， 由于服务器的应用场景多样化，导致了服务器的多样性，存在各种不同类型、型号、盘片数量等。为了应对这样的多变性， PMC推出了高端口数的IO控制器及扩展器，以覆盖数据中心和OEM/ODM不同的密度需求。另外，为了帮助数据中心用户实现降低功耗、降低成本的目标，PMC将芯片、扩展器件做到成本最低、功耗最低，且端口密度最高。更重要的是，通用的硬件和软件设计，帮助OEM/ODM实现了各种各样的产品种类。因为如果每一个不同类型的服务器都要不同的硬件设计方案、不同的驱动、不同系统去测试，对于OEM\ODM的研发周期以及相应投入的成本都会很可观。PMC作为方案供应商，依据多年与OEM和ODM合作的经验，非常关注这个问题。通过保证SAS/SATA高端口数、智能化HBA、简化IOC，支持多种RAID以及更多创新设计等，将产品系列作为一个组合，且具备通用的硬件和软件设计，从而为OEM/ODM提供了设计上的便利。此外， PMC也会与数据中心客户直接合作， 这也是因为数据中心用户经常会面对很多应用场景，由于时间所限，其定制周期非常短，因此就需要板卡级的产品，而PMC也可以为之提供许多选择。

    为单节点部署提供通用平台方案的同时，PMC也看到了整机架部署的发展趋势。早在两年前， PMC就已提出并持续推动FDIO的概念，也就是目前业界基本上都认可的一个共同的发展方向——机架级解耦合。

    通过追踪数据中心的发展，可以看到，在单节点模式下，一旦部署了一个硬件，那么该服务器的可使用资源是有限的，比如说有两个CPU、20个盘，该物理组合部署到这个数据中心后不能改变。特定的计算能力、内存容量和硬盘数量组成了一个虚拟的物理资源限制， 任何一个业务要运行在这个机器上，只能是这个虚拟物理资源限制的一个子级。在现行的数据中心节点部署当中，数据中心用户的普遍做法是尽量在部署时最大化这个虚拟的物理资源限制，以成功运行业务应用。但随着业务增加新功能或者是用户数，就会导致资源的需求变化，当业务的资源需求超出虚拟的物理资源限制时，就需要硬件级的升级，要部署更多的节点。结果是，对于数据中心用户来说，必然会导致硬件资源的浪费。原因即如上所述，部署一台机器时，机器的类型不可能有无数种，也不可能为每一个应用部署一台专门的服务器，所以这种配置的灵活度非常差。

    但是，换到整机架部署，在机架级进行解耦合之后，就是实现了计算、内存、存储的资源池化。那么在配置的时候，数据中心用户只要考虑CPU、硬盘/SSD数量， 然后通过软件策略来实现资源配置，重新组合计算、存储，以匹配应用需求。 当然， PMC认为第一步是从静态的解耦合开始，主要是为了减少服务器的类型，这样数据中心用户至少在机架设计的时候，只需关心CPU和内存，以及在组装这个机架的时候，可以摆放多少个盘进去，以实现CPU和盘之间物理资源的任意配比。然后，第二步是通过在云平台或者云操作系统和资源管理层进行整合之后，数据中心用户可以动态地进行物理资源的绑定，也就是说，不再是一个简单的一对一的关系，而是根据业务以及这个节点的故障情况动态地调度这个业务，实现最优的TCO。

    较之于vSAN等软件实现手段，PMC提出的解耦合着力在硬件层面的实现，因而导致了性能上的较大差异。目前SAS每个连接都是12G，一个HBA出口就是8个端口即96G的带宽，如果是软件形式放在以太网上，就算是部署万兆网卡，也有10倍的差别，更不要说这些协议对CPU的额外开销。 再强调一点，这种资源的动态绑定其实对于软件都是透明的，就是说数据中心用户从操作系统看下去它还是原来的物理机，这样就减少了数据中心用户对软件上的改动。这也是硬件实现的另一个好处，让软件维持其熟悉的运行模式。

    当然，解耦合也带来一系列其他的好处，比如说当盘从服务器里挪掉之后，机械设计可以得到优化，服务器本身就做得更小。对于空间有限的数据中心用户而言，就可以在同样的空间里摆放更多的服务器。同时，这样也极大地减少了不同业务类型所需的不同服务器种类，进行整体数据中心的硬件资源管理时就会比较简便。此外，还可以实现共享启动盘等复杂的数据保护，不会因为启动盘损耗而导致节点丢失，并且当操作系统集中化后，也给管理和升级带来了便利性。另外，还可以实现工作负载的任意迁移等，这些模式都可以带来一系列TCO的改善。

    这一设计其实从两年前PMC刚刚提出，发展到今天已经可以实现了。PMC认为，利用今天已非常成熟的SAS技术，至少在机架内，任意资源任意规模的解耦合其实已经可以实现（如图２）。大体设计为，多个服务器节点——这些服务器其实已经没有硬盘了——之间通过SAS HBA连到一个SAS Switch上面去，再连到一系列提供盘资源的高密度JBOD。这个构架非常简单，利用了基于工业标准的SAS分区技术，可以实现以盘为单位的资源动态分配，在系统设计上实现每一种资源类型的性能和密度优化。采用SAS主要是因为各个部件都非常成熟，目前所有服务器内都采用了这种技术，而且这些器件都久经考验。PMC只是在控制平面和系统设计上做了不同的实现。目前，PMC正在和产业链的合作伙伴一起在推动这个构架的实现，包括和天蝎计划的主要厂商一起合作。但PMC的终极理想并不在于此，更远景地来看，这样的SAS的Fabric是否能演进成PCIe的Fabric，目前PMC也在做相应研发工作，希望不久的将来可以将更终极的方案介绍给大家。

图２　用SAS实现解耦合

    针对定制化服务器市场，PMC推出了最新的SAS/SATA控制器。谈到定制化服务器市场，这是一个相对特别的市场。因为过去服务器市场基本上是HP、IBM、DELL三分天下了，但是在数据中心时代， 服务器发展越来越走向定制化这， 这是因为数据中心用户希望能够绕过OEM，将服务器的成本将至最低。PMC作为一个芯片及方案提供商，在这样的潮流下，势必要和这些数据中心和ODM建立合作。 通过这些联系，我们发现数据中心需求的服务器类型非常多，比如说典型的1U或者2U的服务器有12或20个盘，也有一些非常高密度的服务器，可能是60-80个盘，面向冷存储或者对象存储。在这两种机型中间可能还有五六种其他类型，包括是否带RAID等这样的差别。如此多样化的现状，对于PMC这样的芯片及方案提供商来说是一个挑战，因为这不仅需要PMC提供多种解决方案去适应、覆盖这个市场，而且还要帮助ODM优化其研发成本，因为可能在这纷繁的服务器种类中会有多种类型的需求量较少。

    PMC推出的数据中心IO控制器产品系列， 其实是管脚完全兼容的三个器件，包括驱动程序都是完全一样的， 以方便ODM用户的产品设计，只要设计一种方案，然后通过焊接不同的器件种类，就可以适应不同的业务需要。另外，这一系列芯片在机械尺寸、端口密度和功耗上都是业界最优的，适合直接放入主板或者是定制化的服务器中一些特殊机械尺寸的卡。

    另外，该系列产品在驱动程序这些方面进行了反复测试，可以在主流的操作系统上实现即插即用，并且驱动程序本身也完全是百分之百开源，这样可以使数据中心用户根据特定的应用场景进行性能调优。

    PMC无论是对定制化服务器市场、单节点部署模式，以及资源池化的发展、解耦合的部署模式，都非常关注，且有着非常现实可行的策略和方案，能够解决当下这个数据中心服务器存储方面面临的一些应用的需求。