新型I/O架构引领存储之变(四)
作者:廖恒
应对挑战——商务及技术考量
本文前面的部分分析了砖块模式与生俱来的总拥有成本(TCO)过高的问题。为了战胜这一挑战,超大规模数据中心的运营者需要从两个不同的角度来切入:
· 商务角度:植根于人类社会行为中的宏观层面的季节性及时间性数据中心负载变化问题,只能通过找到若干种经济有效、可以互补的应用来提高平均的资源利用率,并避免高峰期性能需求的暴增。这个方法无法解决TCO问题,但在维持TCO相对稳定的条件下,竭力增加了数据中心运营商的营收及利润。负载互补的例子有实时(反应延迟敏感型)线上交易应用如在线购物与针对用户浏览日志进行的尽力而为型线下大数据分析,此类分析的目的在于从中抽取用户的购物兴趣点所在以及未来推荐产品列表等信息。线下的负载可以分配到闲置资源上。
· 技术角度:数据中心架构必须要有所改善,才能打破服务器砖块的筒仓,并为各种资源创建出完全虚拟化的资源池:CPU主板、HDD、SSD、网络等,然后让任务(虚拟机)能动态映射(并重映射)到捆绑在一起的各种资源池中的资源实例上。这样做的目的在于创建出一种完全虚拟化的数据中心硬件架构,负载可以动态地、均衡地在微观尺度上(比如一秒的时间,每台CPU/核/虚拟CPU,每个盘/LUN/分区/文件,每个虚拟网络末端/交换机/路由器等)进行分配。这一技术必将解决微观层面资源低效的问题,因为它提供给云调配层将任何任务映射到任何空闲资源的能力,而清除了传统物理砖块边界的局限。
从商务层面来看,我们正目睹着大型互联网公司将现有运行在物理集群上的业务转移到虚拟化的云平台上。这些公司不断地将业务多样化,最引人注目的是许多家都已经公布了进军公共云服务的计划。这些举动将会产生大量互补的负载,可以在超大规模数据中心的基础设施上进行高效复用(空间及时间上),从而创造出额外的收益流,提升TCO及ROI指标。
在技术层面,有目共睹,全球领先的数据中心运营者正在推动I/O分离的理念,开放式硬件供应链生态圈正采用Facebook/Rackspace提出的OCP项目,BAT(百度、阿里巴巴、腾讯)正主导提出天蝎计划以及支持硬件资源池(亚马迅AWS,CloudStack,OpenStack)调配的云平台开发等等。由于这些技术理念都已广为人知,此处不复赘述。
提出一种崭新的I/O架构
上述部分已经对I/O技术领域进行了充分调研,分析了影响I/O技术的驱动力,点出了摆在我们面前的难题,也讨论了若干改进的想法。将这些拼图块拼在一起,新I/O架构的形象就浮现在眼前了。在元器件层面,我们称之为汇聚型PCIeI/O架构。在机架/集群系统层面,我们称之为基于矩阵的I/O分离(FDIO)系统架构。
图7 汇聚型PCIeI/O架构
图7中展示了一个基于PCIe交换的汇聚式I/O架构,其中交换矩阵用于连接一个或多个主机CPU(根联合体)与多个存储及vNIC设备,其间全部采用原生总线作为矩阵接口。
FDIO架构的细节
· PCIe I/O矩阵