阿里云储道深度解析存储系统设计——NVMe SSD性能影响因素一探究竟

最新推荐文章于 2024-09-01 16:13:12 发布

糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖

最新推荐文章于 2024-09-01 16:13:12 发布

阅读量362

点赞数 1

本文链接：https://blog.csdn.net/cpongo4/article/details/89149058

版权

NVMe SSD的性能时常捉摸不定，为此我们需要打开SSD的神秘盒子，从各个视角分析SSD性能影响因素，并思考从存储软件的角度如何最优化使用NVMe SSD，推进数据中心闪存化进程。本文从NVMe SSD的性能影响因素进行分析，并给出存储系统设计方面的一些思考。

存储介质的变革

近几年存储行业发生了翻天覆地的变化，半导体存储登上了历史的舞台。和传统磁盘存储介质相比，半导体存储介质具有天然的优势。无论在可靠性、性能、功耗等方面都远远超越传统磁盘。目前常用的半导体存储介质是NVMe SSD，采用PCIe接口方式与主机进行交互，大大提升了性能，释放了存储介质本身的性能。通常NVMe SSD内部采用NAND Flash存储介质进行数据存储，该介质本身具有读写不对称性，使用寿命等问题。为此在SSD内部通过FTL（Flash Translation Layer）解决NAND Flash存在的问题，为上层应用软件呈现和普通磁盘相同的应用接口和使用方式。

$\"\"$

如上图所示，随着半导体存储介质的发展，计算机系统的IO性能得到了飞速发展。基于磁介质进行数据存储的磁盘和处理器CPU之间一直存在着棘手的剪刀差性能鸿沟。随着存储介质的演进与革新，这种性能剪刀差将不复存在。从整个系统的角度来看，IO性能瓶颈正从后端磁盘往处理器和网络方向转移。如下图性能数据所示，在4KB访问粒度下，NVMe SSD和15K转速磁盘相比，每秒随机读IO处理能力提升了将近5000倍；每秒随机写IO处理能力提升了1000多倍。随着非易失性存储介质的进一步发展，半导体存储介质的性能将进一步提升，并且会具有更好的IO QoS能力。

$\"\"$

存储介质的革命一方面给存储系统性能提升带来了福音；另一方面对存储系统的设计带来了诸多挑战。原有面向磁盘设计的存储系统不再适用于新型存储介质，面向新型存储介质需要重新设计更加合理的存储软件堆栈，发挥存储介质的性能，并且可以规避新介质带来的新问题。面向新型存储介质重构存储软件栈、重构存储系统是最近几年存储领域的热门技术话题。

在面向NVMe SSD进行存储系统设计时，首先需要对NVMe SSD本身的特性要非常熟悉，需要了解SSD性能的影响因素。在设计过程中需要针对SSD的特性通过软件的方式进行优化。本文对SSD进行简要介绍，并从性能影响因素角度出发，对NVMe SSD进行深入剖析，在此基础上给出闪存存储设计方面的一些思考。

NVMe SSD成为主流

NAND Flash介质发展

目前NVMe SSD主流采用的存储介质是NAND Flash。最近几年NAND Flash技术快速发展，主要发展的思路有两条：第一，通过3D堆叠的方式增加NAND Flash的存储密度；第二，通过增加单Cell比特数来提升NAND Flash的存储密度。3D NAND Flash已经成为SSD标配，目前主流发布的SSD都会采用3D NAND Flash技术工艺。从cell的角度来看，目前单个cell可以表示3bit，这就是通常所说的TLC NAND Flash。今年单个cell的bit存储密度又提升了33%，可以表示4bit，向前演进至QLC NAND Flash。NAND Flash的不断演进，推动了SSD存储密度不断提升。截止到今天，单个3.5寸SSD盘可以做到128TB的容量，远远超过了磁盘的容量。下图是近几年NAND Flash技术的发展、演进过程。

$\"\"$

从上图可以看出，NAND Flash在不断演进的过程中，一些新的非易失性内存技术也开始发展。Intel已经推出了AEP内存存储介质，可以预计，未来将会是非易失性内存和闪存共存的半导体存储时代。

软件层面看SSD——多队列技术

从软件接口的角度来看，NVMe SSD和普通的磁盘没有太多的区别，在Linux环境下都是标准块设备。由于NVMe SSD采用了最新的NVMe协议标准，因此从软件堆栈的角度来看，NVMe SSD的软件栈简化了很多。在NVMe标准中，和传统的SATA/SAS相比，一个重大的差别是引入了多队列机制，如下图所示。

$\"\"$

何为多队列技术？主机（X86 Server）与SSD进行数据交互的模型采用“生产者-消费者”模型，采用生产者-消费者队列进行数据交互。在原有的AHCI规范中，只定义了一个交互队列，那么主机与HDD之间的数据交互只能通过一个队列通信，多核处理器也只能通过一个队列与HDD进行数据交互。在磁盘存储时代，由于磁盘是慢速设备，所以一个队列也就够用了。多个处理器核通过一个共享队列与磁盘进行数据交互，虽然处理器之间会存在资源竞争，但是相比磁盘的性能，处理器之间竞争所引入的开销实在是微乎其微，可以忽略。在磁盘存储时代，单队列有其他的好处，一个队列存在一个IO调度器，可以很好的保证提交请求的IO顺序最优化。

和磁盘相比，半导体存储介质具有很高的性能，AHCI原有的规范不再适用，原有的假设也已经不复存在，在此背景下NVMe规范诞生了。NVMe规范替代了原有的AHCI规范，并且软件层面的处理命令也进行了重新定义，不再采用SCSI／ATA命令规范集。在NVMe时代，外设和处理器之间的距离更近了，不再需要像SAS一样的面向连接的存储通信网络。相比于以前的AHCI、SAS等协议规范，NVMe规范是一种非常简化，面向新型存储介质的协议规范。该规范的推出，将存储外设一下子拉到了处理器局部总线上，性能大为提升。并且主机和SSD处理器之间采用多队列的设计，适应了多核的发展趋势，每个处理器核与SSD之间可以采用独立的硬件Queue Pair进行数据交互。

从软件的角度来看，每个CPU Core都可以创建一对Queue Pair和SSD进行数据交互。Queue Pair由Submission Queue与Completion Queue构成，通过Submission queue发送数据；通过Completio