云存储技术

存储概述

存储历史

存储的分类

  根据组网形式不同，当前3中主流存储技术或存储解决方案为直连式存储（DAS）、存储区域网络（SNA）、网络接入存储(NAS)。

DAS（Direct Attachment Storage）
  开放系统的直连式存储(Direct-Attached Storage，简称DAS)，
DAS优缺点：

NAS（Network Attachment Storage）
  NAS（Network Attached Storage：网络附属存储）按字面简单说就是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器。
NAS优缺点

SAN（Storage Area Network）
  存储区域网络（Storage Area Network，简称SAN）采用网状通道（Fibre Channel ，简称FC，区别与Fiber Channel光纤通道）技术，通过FC交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。
SAN优缺点

RAID

  磁盘阵列（Redundant Arrays of Independent Drives，RAID），有“独立磁盘构成的具有冗余能力的阵列”之意。
RAID0
  RAID 0又称为Stripe或Striping，它代表了所有RAID级别中最高的存储性能。RAID 0提高存储性能的原理是把连续的数据分散到多个磁盘上存取，这样，系统有数据请求就可以被多个磁盘并行的执行，每个磁盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以充分利用总线的带宽，显著提高磁盘整体存取性能。

RAID1
  RAID1通过磁盘数据镜像实现数据冗余，在成对的独立磁盘上产生互 为备份的数据。当原始数据繁忙时，可直接从镜像拷贝中读取数据，因此RAID 1可以提高读取性能。RAID 1是磁盘阵列中单位成本最高的，但提供了很高的数据安全性和可用性。当一个磁盘失效时，系统可以自动切换到镜像磁盘上读写，而不需要重组失效的数据。

RAID3
  RAID 3是把数据分成多个“块”，按照一定的容错算法，存放在N+1个硬盘上，实际数据占用的有效空间为N个硬盘的空间总和，而第N+1个硬盘上存储的数据是校验容错信息，当这N+1个硬盘中的其中一个硬盘出现故障时，从其它N个硬盘中的数据也可以恢复原始数据，这样，仅使用这N个硬盘也可以带伤继续工作（如采集和回放素材），当更换一个新硬盘后，系统可以重新恢复完整的校验容错信息。由于在一个硬盘阵列中，多于一个硬盘同时出现故障率的几率很小，所以一般情况下，使用RAID3，安全性是可以得到保障的。

RAID5
  RAID 5 是一种存储性能、数据安全和存储成本兼顾的存储解决方案。 RAID 5可以理解为是RAID 0和RAID 1的折中方案。RAID 5可以为系统提供数据安全保障，但保障程度要比Mirror低而磁盘空间利用率要比Mirror高。RAID 5具有和RAID 0相近似的数据读取速度，只是多了一个奇偶校验信息，写入数据的速度比对单个磁盘进行写入操作稍慢。同时由于多个数据对应一个奇偶校验信息，RAID 5的磁盘空间利用率要比RAID 1高，存储成本相对较低，是运用较多的一种解决方案。

RAID6
  RAID6技术是在RAID 5基础上，为了进一步加强数据保护而设计的一种RAID方式，实际上是一种扩展RAID 5等级。与RAID 5的不同之处于除了每个硬盘上都有同级数据XOR校验区外，还有一个针对每个数据块的XOR校验区。当然，当前盘数据块的校验数据不可能存在当前盘而是交错存储的，具体形式见图。这样一来，等于每个数据块有了两个校验保护屏障（一个分层校验，一个是总体校验），因此RAID 6的数据冗余性能相当好。但是，由于增加了一个校验，所以写入的效率较RAID 5还差，而且控制系统的设计也更为复杂，第二块的校验区也减少了有效存储空间。

Raid 10
  Raid 10是一个Raid 1与Raid0的组合体，它是利用奇偶校验实现条带集镜像，所以它继承了Raid0的快速和Raid1的安全。我们知道，RAID 1在这里就是一个冗余的备份阵列，而RAID 0则负责数据的读写阵列。其实，右图只是一种RAID 10方式，更多的情况是从主通路分出两路，做Striping操作，即把数据分割，而这分出来的每一路则再分两路，做Mirroring操作，即互做镜像。

RAID50
  RAID50是RAID5与RAID0的结合。此配置在RAID5的子磁盘组的每个磁盘上进行包括奇偶信息在内的数据的剥离。每个RAID5子磁盘组要求至少三个硬盘。RAID50具备更高的容错能力，因为它允许某个组内有一个磁盘出现故障，而不会造成数据丢失。而且因为奇偶位分部于RAID5子磁盘组上，故重建速度有很大提高。优势：更高的容错能力，具备更快数据读取速率的潜力。需要注意的是：磁盘故障会影响吞吐量。故障后重建信息的时间比镜像配置情况下要长。

RAID各级别比较

磁盘热备

  热备份是指在建立RAID磁盘阵列系统的时候，将其中一个磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。
  磁盘热备分为全局热备盘、和局部热备盘

云存储的概念与技术原理

  概念：云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过虚拟化、集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协调工作，共同对外提供数据存储和业务访问功能的一个系统。
  从技术方面看，目前业界普遍认同云存储的两种主流技术解决方案：分布式存储和存储虚拟化。

分布式存储

从分布式存储的技术特征上看，分布式块存储、分布式文件存储、分布式对象存储和分布式表存储四种类型。

分布式块存储

  块存储将存储区域划分成固定大小的小块，是传统裸存储设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过SCSI/SAS或FC SAN与存储服务器连接，服务器直接通过SCSI/SAS或FC协议控制和访问数据。块存储方式不存在数据打包/解包过程，可提供更高的性能。

分布式文件存储

  文件存储以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个计算机上的共享文件夹集合成一个虚拟共享文件夹，将整个分布式文件资源以统一的试图呈现给用户。 它对用户和应用程序屏蔽各个节点计算机底层文件系统的差异，提供用户方便的管理资源的手段或统一的访问接口。
  分布式文件系统的出现很好的满足互联网信息不断增长的需求，并为上层构建实时性更高，更易使用的结构化存储系统提供有效的数据管理的支持。在催生了许多分布式数据库产品的同时，也促使分布式存储技术不断的发展和成熟。

分布式对象存储

  对象存储为海量非结构化数据提供Key-Value这种通过键-值查找数据文件的存储模式，提供了基于对象的访问接口，有效地合并了NAS和SAN的存储结构优势，通过高层次的抽象具有NAS的跨平台共享数据和基于策略的安全访问优点，支持直接访问具有SAN的高性能和交换网络结构的可伸缩性。

分布式表存储

  表存储系统用来存储和管理结构化/半结构化数据，向应用系统提供高可扩展的表存储空间，包括交易型数据库和分析型数据库。
  NoSQL是设计满足超大规模数据存储需求的分布式存储系统，没有固定的Schema，不支持join操作，通过“向外扩展”的方式提高系统负载能力。

存储虚拟化

**原理：**把多个存储介质模块通过一定手段集中管理，把不同接口协议的物理存储设备整合成一个虚拟的存储池，根据需要为主机创建和提供虚拟存储卷，即把不同存储硬件抽象出来，以管理工具来实现统一管理，不必管后端介质到底是什么。

存储虚拟化的分类

**存储虚拟化目标：**抽象、隐藏、隔离。
从系统的观点看，存储虚拟化有3中途途径：
1.基于主机的存储虚拟化；
2.基于网络的存储虚拟化；
3.基于设备存储设备的存储虚拟化；