首次揭秘，面向核心业务的全闪分布式存储架构设计与实践

当今是云计算、大数据的时代，企业业务持续增长需要存储系统的 IO 性能也持续增长。

机械盘本身的 IOPS 一直徘徊在数百的级别，为了提高传统存储的性能，有些存储厂商加了缓存层，然而目前应用正由单一走向多元化，导致 IO 特征无法预测，缓存也难以发挥作用。

机械盘依赖盘片的旋转和机械臂的移动进行 IO，目前转速基本达到物理极限，所以机械盘性能一直徘徊不前，无法满足企业核心业务对于存储性能的要求。

全闪，企业核心存储新选择

SSD 作为一种全新的闪存介质开始进入企业的数据中心，并逐渐成为应用的主流。

企业对存储的要求是性能和容量要满足业务的需求，并且价格合适。

首先从容量上来看，目前主流的 SSD 单盘容量已经达到 8T，完全满足企业各类应用的需求。

其次从性能上来看，一块 NVMe SSD 的性能大概在 100 万 IOPS，相当于 5000 块 7.2k SATA HDD 的性能。在延迟上，一块 NVMe SSD 的延迟大概在 10 微秒，是机械盘的 200 分之一。

最后从单盘的价格来看，SSD 比机械盘要贵，但是从单个 IO 的成本来看，SSD 的性价比远远高于机械盘。最近英特尔推出了 96 层 QLC NAND 颗粒，正在研究 114 层的 NAND，随技术进步，SSD 性价比会进一步提高。

总之，全闪能够满足企业核心业务对存储的高 IOPS、低延迟的要求，并且可以降低 TCO，可以说企业核心存储选择全闪是大势所趋，所以厂商要面向全闪来设计存储系统。

面向闪存的三种存储方案

如上图所示，目前业界基于全闪的存储方案主要有以下三种：

第一种是传统方式。

用 SSD 做缓存或者直接用 SSD 盘替换掉传统存储中的机械盘，这种方式无法发挥全闪的性能。

因为传统的存储诞生在机械盘的时代，是面向机械盘设计的。而当前 NVMe SSD 的性能已经达到 100 万 IOPS，与机械盘有了天壤之别。

传统存储受限于底层架构的设计，并没有针对全闪进行有效的软件改造或者优化，即使采用了全闪的配置，也无法发挥 NVMe SSD 的性能，传统存储方案已经不再适合承载高速闪存介质。

第二种是全闪阵列。

全闪阵列的性能相比传统方式有了很大提升，可以满足当前业务的要求。

全闪阵列通常采用专有的硬件，导致其成本高昂。另外一方面，传统阵列一般采用双控制器互为备份，纵向扩展无法提升性能，横向扩展受限于控制器的数量，一般情况下可以扩展到 8-16 个，导致其扩展性很差，灵活性也不够。

第三种是全闪分布式存储。

分布式存储是通过网络将存储节点联系在一起，以集群的形式提供服务。

首先，它采用通用的 X86 硬件，使硬件标准化，可以降低 TCO。

其次，扩展灵活。集群中每一个节点都具备存储和计算能力，随着节点的增加集群的容量和性能得到线性扩展。无中心设计使集群不易形成瓶颈节点，理论上可以无限扩展。

第三，针对 NVMe SSD 进行特殊的设计和优化，性能强劲。

另外，随着 25G、100G 网络的普及和 RDMA 网络低延迟的特性，使得分布式全闪的跨节点扩展不再是瓶颈。在全闪存和高速 RDMA 网络的加持下，分布式全闪架构已经成为企业核心业务的理想之选。