可扩展存储系统（下）

【书接上文】

（3）SAN系统的扩展性

SAN存储系统与NAS存储系统的主要区别并不是在底层存储阵列上，而是在与服务器的网络连接方式与默认通信协议支持上。SAN系统一般支持iSCSI、Fibre-Channel、Fiber-Channel-over-Ethernet等主流通信协议。NAS系统则主要支持NFS、CIFS等协议。

以下图为例，Unified NAS（统一的NAS存储阵列）中的每个NAS机头具有连接到IP网络的前端以太网端口。前端端口提供客户端连接并服务于文件I/O请求。每个NAS机头都有后端端口，可提供存储控制器连接。存储控制器上的iSCSI和FC端口使主机能够在数据块级直接或通过存储网络访问存储。

图：Unified NAS存储阵列

另一类基于SAN的存储阵列的可扩展性方案引入了NAS Gateway（NAS网关）设备（见下图）。在网关解决方案中，NAS网关和存储系统之间的通信通过传统的FC SAN来实现。但是系统的扩展性主要体现在NAS Gateway提供给每个客户端的接口是一个single-folder interface（单文件夹接口）。而树状的文件系统接口的最大特点是几乎无限的存储阵列可扩展性（当然，文件系统过于庞大则会造成系统性能的下降，这样的系统的性能与文件系统规模的分布关系应该是正交分布）。因此，要部署NAS网关解决方案，必须考虑多个数据路径、冗余结构和负载分布等因素。

图：NAS Gateway存储阵列

基于SAN的存储阵列的可扩展实现是通过一种叫作核心-边缘网络连接拓扑结构实现的（见下图）。核心-边缘连接结构拓扑具有两种类型的交换机层。边缘层通常包括交换机，它提供了一种向拓扑结构中添加更多主机的廉价方案。边缘层的每个FC交换机都通过 ISL （Inter-Switch-Link，网络交换机间链接）连接到核心层的FC控制器（高速交换机）。核心层通常包括用于确保连接结构高可用性的控制器。通常情况下，所有通信都必须遍历这一层或在这一层终止。在此配置中，所有存储设备都连接到核心层，使主机到存储通信能够仅遍历一个ISL。需要高性能的主机可直接连接到核心层，从而避免ISL延迟。

图：核心-边缘结构

在核心-边缘拓扑中，边缘层交换机彼此不相连。核心-边缘连接结构拓扑提高了SAN内的连接性，同时保证了总体的端口利用率。如果需要扩展连接结构，则可以再向核心连接额外的边缘交换机。还可通过在核心层添加多个交换机或控制器来扩展连接结构的核心。根据核心层交换机的数目，此拓扑具有不同的形式，如单核拓扑和双核拓扑。为了将单核拓扑转换为双核拓扑，创建了新的ISL以便将每个边缘交换机连接到结构中的新核心交换机。

（4）统一存储系统的扩展性

统一存储系统（Unified Storage System）指的是一个存储控制器之上可以应对不同类型的存储需求。在统一存储系统中，存储的数据块、文件和对象请求通过不同的I/O路径传输（见下图）。

图：统一存储系统

·数据块I/O请求：应用程序服务器在存储控制器上连接到FC、iSCSI或FCoE端口。服务器通过FC、iSCSI或FCoE连接发送数据块请求。存储控制器可处理I/O并响应应用程序服务器。

·文件I/O请求：NAS客户端（装载或映射NAS共享的位置）使用NFS或CIFS协议向NAS机头发送文件请求。NAS机头会接收请求，将其转换为数据块请求，并将其转发到存储控制器。从存储控制器中接收数据块数据时，NAS机头会再次将数据块请求转换为文件请求并将其发送到客户端。

·对象I/O请求：Web应用程序服务器通常使用REST或SOAP协议将对象请求发送到OSD节点。OSD节点会接收请求，将其转换为数据块请求，并将其通过存储控制器发送到磁盘。而控制器会处理数据块请求并响应OSD节点，从而将请求的对象提供给Web应用程序服务器。

统一存储系统奠定了存储云平台的基础，它屏蔽了底层异构存储的复杂性，将现有的异构物理存储（不同类型的存储设备、不同厂家的产品）转变为简单的、可扩展的开放式云存储平台。同时该平台还可以为数据中心中的其他层云平台（如IaaS、PaaS、SaaS等）提供简单、高效、开放、可扩展的API，为实现全数据中心云化打下坚实的基础。

为了保证存储云平台的扩展性和开放性，存储云平台通过基于行业标准的SMI-S8接口或接入软件存储平台（例如开源的Ceph9）实现底层物理存储设备的接入。存储平台通常需要对外提供开放式API的接口，以方便进行扩展和二次开发。采用集群部署架构，根据存储资源的数量进行横向扩展，以保证整个存储云平台具有良好的可扩展性。SMI-S是Storage Management Initiative-Specification的首字母缩写，它是存储网络行业联盟（Storage Networking Industry Association，SNIA）制定的符合ISO标准的异构存储间的互联互通协议，目前有超过800款硬件、75款软件存储产品支持SMI-S标准。Ceph是开源的免费软件存储平台，它虽然是基于对象存储，但是在结构层提供文件、数据块及对象存储API。SMI-S专注于异构存储间的互联互通，而Ceph则专注于基于商品现货硬件平台搭建廉价的可扩展的存储平台。

写在最后的话：【心得】

或许是存储系统最为底层的原因，它所受到的关注远远不及计算系统或网络系统。在可扩展存储系统的发展历程中，诸如存储虚拟化、软件定义存储等理念的推行也是启动最晚、关注人群最有限的。今天很多人都认为因为高性能网络的发展，存储系统的局限性已经无足轻重了，例如10Gbps（或25Gbps、100Gbps）级别的“骨干网”连接的计算和存储节点，让很多人以为存储的瓶颈已经不再存在。这个想法把网络的理想状态下的最大吞吐率等同于真实业务情况下的吞吐率，而忽略了真实的运行的线上系统、业务系统就好像马路上走走停停的小轿车，例如分布式的数据库系统中，数据总是在不断的动态的改变（增删改查），如果每个查询会导致系统内多个节点被访问，并且一个节点会依赖其它多个节点，它们之间必然会形成一个复杂的依赖网络关系，在极端（或者平常）的情况下，这种延迟可能远超我们的想象，因为数据在网络上的传输的过程中被不断的封装与解析，成本是非常昂贵的，10Gbps的网络带宽，真实的效果连1Gbps都不会达到，而真实的payload数据，还会更低。这个时候，系统的瓶颈是网络而不是存储系统。确切的说，从软件的视角上看，这时的系统的瓶颈是理想化的分布式的架构所导致的系统资源利用率的低下。

另，存储系统的发展最近2年来最令人兴奋的恐怕是持久化内存（PMEM)，笔者以为，这才会带来真正的各类核心系统架构的突破性发展。有兴趣的读者可以关注下相关的领域和产品的近况。有机会笔者会单辟一篇介绍图数据库与PMEM结合后的震撼效果。

·本节END·