老码农眼中的存储

存储，是我们码农每天都要打交道的事情，而当我们面对RAID，SAN，对象存储，分布式数据库等技术的时候，又往往似是而非，存储成了我们熟悉的陌生人。

在老码农眼中，存储仿佛是这个样子的。

从计算机结构出发

存储是计算机的一部分，在冯诺伊曼体系结构中，有一个重要的单元即存储器，它连接了输入／输出，以及控制器和运算器，处于核心纽带的位置。

存储的介质主要包括内存（DRAM）、固态硬盘（SSD）、机械硬盘（HDD）、非易失性存储器（NVM），以及磁带等。

特性/介质	DRAM	SSD	HDD	NVM
非易失性	否	是	是	是
使用寿命	长	短	较长	长
随机读	非常快	快	慢	非常快
随机写	非常快	较快	慢	非常快
顺序读	非常快	快	较快	非常快
顺序写	非常快	快	较快	非常快

一般意义上的存储，多指磁盘。

与存储中的数据交互是通过IO实现的，IO的性能直接影响着系统的性能，甚至我们往往把应用分为IO密集型和CPU密集型等等。

从IO的访问方式来看，可以分为阻塞／非阻塞，同步／异步。在Linux，提供了5种IO模型：

1. 阻塞I/O：blocking I/O

2. 非阻塞I/O ：nonblocking I/O

3. I/O复用：I/O multiplexing (select 和poll) 

4. 信号驱动I/O ：signal driven I/O (SIGIO)

5. 异步I/O ：asynchronous I/O (the POSIX aio_functions)

从性能上看，异步 IO 的性能无疑是最好的。

对IO进行抽象，分为逻辑IO和物理IO两类，分为磁盘，卷和文件系统三层。做一个简单的比喻，磁盘象空地，卷如同小区，而文件系统就是小区里的楼房和房间。卷位于操作系统和硬盘之间，屏蔽了底层硬盘组合的复杂性，使得多块硬盘在操作系统来看就像一块硬盘。镜像，快照，磁盘的动态扩展，都可以通过卷来实现。而文件系统最主要的目标就是对磁盘空间的管理。

对程序员而言，我们所面对的一般是文件系统，通过文件系统感知存储中的数据。

提高存储的可靠性—— 磁盘阵列

一旦硬盘故障，面临的很可能就是数据的丢失，将演变成一场灾难。对很多的企业应用而言，直接提高存储可靠性的方式是通过磁盘阵列——RAID。

RAID是Redundant Arrays of Independent Disks的缩写，是把相同的数据存储在多个硬盘的不同的地方。通过把数据放在多个硬盘上，输入输出操作能以平衡的方式交叠，改良性能，也延长了平均故障间隔时间（MTBF），储存冗余数据也增加了容错， 从而提高了存储的可靠性。

常见的RAID类型如下：

RAID 等级	RAID0	RAID1	RAID5	RAID6	RAID10
别名	条带	镜像	分布奇偶校验条带	双重奇偶校验条带	镜像加条
带容错性	无	有	有	有	有
冗余类型	无	有	有	有	有
热备盘	无	有	有	有	有
读性能	高	低	高	高	高
随机写性能	高	低	一般	低	一般
连续写性能	高	低	低	低	一般
需要磁盘数	n≥1	2n (n≥1)	n≥3	n≥4	2n(n≥2)≥4
可用容量	全部	50%	(n-1)/n	(n-2)/n	50%

RAID 的两个关键目标是提高数据可靠性和 I/O 性能。实际上， 可以把RAID 看作成一种虚拟化技术，它对多个物理磁盘虚拟成一个大容量的逻辑驱动器。

提高存储的容量——存储网络

尽管磁盘阵列也在一定程度上提高了存储的容量， 但是难以满足人们对存储容量的需求。为了解决存储空间的问题， 采用分而治之的方式，通过DAS将硬盘独立为存储空间。 DAS（Direct Attached Storage—直接连接存储）是指将存储设备通过SCSI接口或光纤通道等直接连接到一台主机上。DAS 就是一组磁盘的集合体，数据读取和写入等也都是由主机来控制。 然而，DAS 没法实现多主机共享磁盘空间的问题。

为了解决共享的问题，于是有了 SAN （ Storage Area Network）————存储网络。SAN 网络由于不会直接跟磁盘交互，而是解决数据存取的问题，使用的协议比 DAS 的层面要高。对于存储网络而言，对带宽的要求非常高，因此 SAN 网络下，光纤成为连接的基础。光纤上的协议比以太网协议更简洁，性能也更高。

从数据层面来看，存储空间的共享可以体现为文件的共享。NAS（Network Attached Storage）是将存储设备通过标准的以太网，连接到一组主机上，N是组件级的存储方法，能够解决迅速增加存储容量的需求。也就是说，NAS从文件系统层面解决存储的扩容问题。

NAS和SAN本质的不同在文件管理系统的不同。在 SAN中，文件管理系统分别在每一个应用服务器上；而NAS是每个应用服务器通过网络共享协议（如NFS等）使用同一个文件管理系统。NAS的出发点是在应用、用户和文件以及它们共享的数据上；而SAN的出发点在磁盘以及联接它们的基础设施架构。

三者之间的关系如下图所示：

一般存储系统的应用

存储是我们软件产品和服务的必备环节，常见的存储系统应用有：

• 配置数据服务：只读访问

• 缓存系统：有／无持久化

• 文件系统：目录/POSIX

• 对象系统：Blob/KV

• 表格系统：Column/SQL

• 数据库系统：满足ACID

• 备份系统：冷存储/延迟读

• ......

在使用存储系统的时候，我们可能需要关注的指标：

1. 存储成本

2. 功能： 读／写／列索引／条件查询／事务／权限。。

3. 性能：读写的 吞吐／IOPS／延时／负载均衡。。。

4. 可用性

5. 可靠性

6. 可扩展性

7. 一致性

存储引擎是存储系统中的发动机，直接决定存储系统的性能和功能，实现了存储系统的增／删／改／查，在数据库系统中广泛采用。 常见的存储引擎有：哈希存储引擎，B树存储引擎（磁盘索引节省内存）和 LSM树存储引擎（随机写转为顺序写）。

分布式存储系统应用——云服务

分布式存储系统一般采用可扩展的系统结构，利用多台存储服务器分担存储负载，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，而且易于扩展。

分布式存储的应用场景一般分为三种:

1. 对象存储: 也就是通常的键值存储，其接口就是简单的GET,PUT，DEL和其他扩展

2. 块存储: 通常以QEMU Driver或者Kernel Module的方式存在，需要实现Linux的Block Device接口或者QEMU提供的Block Driver接口，如AWS的EBS，青云的云硬盘，百度云的云磁盘等等

3. 文件存储: 支持POSIX的接口，提供了并行化的能力，如Ceph的CephFS，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口算成此类。

一般地，对象存储通常以大文件为主，要求足够的IO带宽。块存储:即能应付大文件读写，也能处理好小文件读写，块存储要求的延迟是最低的。文件存储需要考虑目录、文件属性等等的支持，对并行化的支持难度较大，通过具体实现来定义接口，可能会容易一点。

实现一个分布式存储系统，通常会涉及到元数据，分区，复制，容错等诸多方面。分布式设计采用主从、全分布式或者是兼而有之， 底层的存储可以依赖本地文件系统的接口，或者实现一个简单的物理块管理，但都不是相对容易的事。

幸运的是，分布式存储系统已经成为了云服务的基础能力，尤其是对象存储，如七牛、S3、OSS、BOS 等等， 已经是标配了。有了面向云服务的存储， 使我们更多聚焦在业务本身，各种存储带来的烦恼会逐渐随风而逝么？！