分布式存储技术(1)

一、分布式存储概念

   分布式存储分为：分布式文件存储，分布式块存储，分布式对象存储，分布式数据库存储，分布式缓存存储。传统存储称为集中式存储，其中包括了机头（控制器）、磁盘阵列（JBOD）和交换机，而分布式是采用可拓展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，优点是提高了系统的可靠性、可用性和存取效率，且易于扩展。

二、冗余磁盘阵列（RAID）

1、概念

RAID：为了实现存储容量的动态扩展，同时增强系统的容错能力，提高存储系统的读写性能。将多个存储磁盘组合起来形成一个虚拟的大容量磁盘。其主要的实现方式有硬件RAID和软件RAID
硬件RAID：通过集成了处理器的RAID适配卡（RAID卡）来实现。通过卡中的控制处理器、IO处理芯片和存储器减少对主机cpu的占用，调高速率。且硬件RAID又分为基于IO处理器和基于IO控制器两种类型。
软件RAID：完全依赖主机CPU进行实现。分为基于驱动程序和基于操作系统两种类型。其需要占用CPU的处理周期，依赖于操作系统并且不支持硬件热拔插、热备份、远程阵列管理、S.M.A.R.T（自我检测、分析及报告）。

2、种类

根据RAID的磁盘组织方式、连接方式以及数据访问方式分为JBOD和SBOD两类。
JOBD：磁盘簇又称盘堆，可以看作是将计算机总线扩展提供了磁盘扩展槽位的设备，它内部没有控制软件提供协调控制，不具备磁盘资源整合和RAID冗余功能。JBOD纯粹是为了增加容量其存储方式是第一个磁盘用完后再依次从后面的磁盘开始存储数据，没有数据的安全保障。从逻辑结构上看，JBOD使用的是光纤仲裁环路，虽然这种结构连接方式十分简单，但其性能也难以提高，而且诊断和隔离故障磁盘的难度增大也大大影响了系统的可靠性和可用性，并且系统的延时也会随着环路上设备的增大而增大，因此JDOB也几乎失去了实用价值。
SBOD：交换式磁盘捆绑。其使用内置的交换式光纤架构来链接阵列内的众多磁盘驱动器，从而能够在避免单个磁盘失效影响数据的可用性并智能监视每个磁盘，并且RAID控制器到所有磁盘间的路径也大为缩短。SBOD阵列中磁盘驱动器，SBOD阵列和控制器之间的链路是实现无阻塞交换式光纤交换，直接的数据路径提高了可扩展性和服务能力。

3、原理

RAID数据组织方式：条带（strip）和分条（stripe），用于描述条带中容量的小：分条深度（也称条带尺寸）和分条尺寸。
条带：指在单个阵列磁盘上，一系列连续编址的磁盘块。用于将虚拟磁盘块地址映射为编号的磁盘块地址。
分条：指使用分条数据映射的磁盘阵列中，每个编号的磁盘阵列盘区相应位置的一系列条带。
分条深度（条带尺寸）：strip size 也称为分条深度，stripe depth 描述了构成条带的磁盘块(Disk Block)数目， 如果数据访问总是从条带的起始位置开始，那么条带尺寸就等于从单个磁盘一次所能读取或写入的最大数据量。分条中所有的条带都含有相同数目的磁盘块。而减小条带尺寸就意味着数据被分成更小的块存储在多个物理磁盘上。
分条尺寸：条带尺寸与RAID集中硬盘数量的乘积。

4、RAID级别

RAID-0：也被称为条带化，其原理是将多个物理磁盘合并成一个大的逻辑磁盘，代表了所有RAID级别中最高的存储性能，但是不具备冗余，不能并行IO，但速度最快。
RAID-1：也被称为镜像，其本身是两个RAID-0组合在一起原理是将写入的数据百分百的复制到另一个磁盘中，所以其安全性和可用性最高，但成本也是最高的。
RAID-2：是一种大型机和超级计算机用来存储带海明码校验的磁盘阵列，在磁盘中有一部分磁盘是专门用作校验盘，用于校验和纠错。RAID-2对大数据量的读写具有较高的性能，但读写少量数据时吸能反而不好，所以RAID-2的实际使用很少。
RAID-3：是一种带有奇偶校验码的RAID并采用分成条带存储数据。其利用异或逻辑运算来进行校验（相同为假，不同为真），与海明码比起来更加简单使用，降低成本，但校验码盘一旦损坏就会影响数据的可用性。
RAID-4：与RAID-3类似，但是其分区是以区块为单位分别存在硬盘中，即以数据块为单位存储。
RAID-5：其与RAID-4类似都是以数据块为单位存储，但是其校验码不是单独存在一个盘中，而是每个磁盘中都存在数据和冗余数据。当一个磁盘损坏根据剩余的数据和奇偶校验信息来恢复数据。但如果超过两个磁盘损毁就无法重构。RAID-5也是最常见的RAID。
RAID-6：进一步加强数据保护而设计的。与RAID-5相比多加了第二种独立的奇偶校验信息块，常见又P+Q和DP。提高了安全性。
RAID-10：是由RAID-0和RAID-1组合而成，利用RAID-0的高读写和RAID-1的高安全性。常用于金融，保险，军队中。
在以上RAID级别中，常用的有0，1，5，6，10。

5、数据保护技术

当磁盘阵列中一块磁盘发生故障中，RAID组就会进入降级状态，如果继续又故障，就会进入失效状态，导致功能失效。所以需要一些保护措施。
热备：提前配置好一个磁盘，当一个磁盘失效后，启动重构把恢复的数据存储到备用盘中，使其替代失效的磁盘，之后更换好磁盘，再把数据拷贝到更换好的盘，之后在进入备用状态。其工作模式主要分为三类：特定热备，全局热备，机框热备。
重构：分为镜像冗余重构，校验冗余重构。
预拷贝：可以实现不停机操作，自我检测磁盘出现故障自动报告并自动拷贝到热备盘中，提高使用效率。

三、网络存储技术

1、DAS

概念：直接连接存储，把一个存储系统直接连接到一个服务器或者工作站上再用总线连接，但各个服务器只能使用与自己直接存储设备资源，彼此之间不能共享数据。其可分为内置DAS和外置DAS。
缺点：不易扩展，性能差，浪费资源，管理分散，异构化严重，数据备份问题。由于这些问题产生SAN和NAS存储技术。

2、SAN

概念：存储区域网络，是一种独立于业务网络系统之外，以块级数据为基本访问单位的高速存储专用网络。由存储设备资源的服务器、主机总线适配器以及FC交换机组成。其主要实现形式所有光纤通道存储网络（FC-SAN）、IP存储区域网络（IP-SAN）和SAS存储区域网络（SAS-SAN）。
FC-SAN：这种架构采用光纤通道作为传播媒介，以FC+SCSI的应用协议作为存储访问协议，以块级数据作为基本访问单位，将存储系统网络化，实现了真正高速共享存储的目标。其提供了三种连接方式：点对点（FC-P2P）、光纤通道仲裁环（FC-AL）和交换式光纤网（FC-SW）。
IP-SAN：与FC采用光纤不同的是IP采用的是基于IP网络来实现块级数据存储的方式，无视设备的实际地址或者物理位置，直接对设备进行ip网络连接。这种方式同时具备了FC-SAN的高性能和传统NAS的数据共享优势又消除了传统FC-SAN的产品兼容性和连接性方面的问题。
SAS-SAN：作为一种新的存储接口技术，SAS不仅功能能够与光纤通道比肩，还能具有兼容SATA。

3、NAS

概念：网络附加存储是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于不同主机和应用服务器进行访问的技术。
组成：NAS设备通常具有计算机的基本结构，并且可以按安装操作系统，一般安装实时操作系统RTOS。其硬件结构分为核心控制部分包括：处理器、内存、网络适配器、磁盘接口和存储子系统包括磁盘阵列。其软件由操作系统、卷管理器、文件系统、网络文件共享和web管理5个模块。
通过使用NFS或CIFS网络文件系统协议进行传输，通常CIFS用于windows系统，NFS用于Linux和Unix

4、NAS和SAN比较

NAS是一种文件共享服务，NAS设备拥有自己的文件系统，并能通过NFS或CIFS对外提供文件访问服务。
1、拓展性：NAS和SAN都是网络存储系统，都负责管理存储资源，都通过网络想用户提供存储服务，都具有较好的扩展性。
2、服务方式：NAS和SAN的本质区别在于，对用户而言，SAN提供的是块级数据的传输，存储；而NAS提供的是文件级的传输、存储服务。SAN的文件系统建立在主机方，NAS的文件系统建立在NAS设备上。