云存储技术

存储概述

存储的分类

（1）DAS
  DAS是指将存储设备通过XCSI接口或光纤通道直接连接到一台计算机上。
直接连接存储：存储设备是通过电缆（通常是SCSI接口电缆）直接连到服务器的。 I/O请求直接发送到存储设备。
优点：
  1）连接简单：集成在服务器内部；点到点的连接；距离短；安装技术要求不高
  2）低成本需求：SCSI总线成本低
  3）较好的性能
  4）通用的解决方案：DAS的投资低，绝大多数应用可以接受
缺点：
  1）有限的扩展性：SCSI总线的距离最大25米；最多15个设备
  2）专属的连接：空间资源无法与其他服务器共享
  3）备份和数据保护：备份到与服务器直连的磁带设备上，硬件失败将导致更高的恢复成本
  4）TCO（总拥有成本高）：存储容量的加大导致管理成本上升，存储使用效率低
（2）NAS
  网络连接/附加/附属存储：存储设备连接到现有的网络上，提供数据和文件服务，应用服务器直接把File I/O请求通过LAN传给远端NAS中的文件系统，NAS中的文件系统发起Block I/O到与NAS直连的磁盘。主要面向高效的文件共享任务，适用于那些需要网络进行大容量文件数据传输的场合。
优点：
  资源共享
  构架于IP网络之上
  部署简单
  较好的扩展性
  异构环境下的文件共享
  易于管理
  备份方案简单
  低的TCO
缺点：
  扩展性有限
  带宽瓶颈，一些应用会占用带宽资源
  不适应某些数据库的应用
（3）SAN
  存储区域网络：它是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为实现大量原始数据的传输而进行了专门的优化。
优点：
  实现存储介质的共享
  非常好的扩展性
  易于数据备份和恢复
  实现备份磁带共享
  LAN Free和Server Free
  高性能
  支持服务器群集技术
  容灾手段
  低的TCO
缺点：
  成本较高
  需要专用的连接设备如FC交换机以及HBA
  SAN孤岛
  技术较为复杂
  需要专业的技术人员维护

DAS、NAS、SAN存储组网形态的比较

RAID

1.RAID 0

  RAID0 ：Striped Disk Array without Fault Tolerance( 没有容错设计的条带磁盘阵列，以条带形式将RAID阵列的数据均匀分布在各个阵列中。
  总容量=(磁盘数量)*(磁盘容量)
2.RAID 1

  RAID 1 ：以镜像作为冗余手段，虚拟磁盘中的数据有多个拷贝，放在成员磁盘上。
  总容量=(磁盘数量 / 2)*(磁盘容量)
3.RAID 3

  RAID3 (条带分布+专用盘校验)：以xor校验为冗余方式，使用专门的磁盘存放校验数据， 虚拟磁盘上的数据块被分为更小的数据块并行传输到各个成员物理磁盘上 ，同时计算出xor校验数据存放到校验磁盘上。
  总容量=(磁盘数量 -1)*(磁盘容量)
4.RAID 5

  RAID5 (条带技术+分布式校验)：以XOR检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。
5.RAID 6

  RAID6：能够允许两颗磁盘同时失效的RAID级别系统。总容量=(磁盘数 -2)*(磁盘容量)
6.RAID 10

  RAID10 (镜像阵列条带化)：将镜像和条带组合起来的组合RAID级别，最低一级是RAID1镜像对，第二级为RAID0。
  总容量=(磁盘数 /2)*(磁盘容量)
7.RAID 50

RAID50定义：
  将镜像和条带组合起来的组合RAID级别，最低一级是RAID5镜像对，第二级为RAID0。
  总容量=(磁盘数 -1)*(磁盘容量)
下图为各种级别RAID的比较

磁盘热备

热备盘：
  1）全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。
  2）局部热备盘：指针对某一RAIO组起作用。
磁盘热备的主要过程如下:
   1)由5 个磁盘组成RAID5，其中4个数据盘，1个热备 盘存储校验条带集，热盘平时不参与计算。
   2)某个时刻某个数据盘损坏，热备盘根据校验集开始自动重构。
   3)热备盘重构结束，加人RAID 5代替损坏磁盘参与计算。
   4)替换新的磁盘，热备盘进行复制。
   5)热备盘复制完成后，重新建立校验集。
热备份具有以下特性:
   1)在线操作特性。
  2)系统中需设置个热添加的备 份盘或用一个新的 替代磁盘替代故障磁盘。
   3)当满足以下条件时开始数据自动重构:
  ①有一个热备份盘存在独立于故障磁盘的。
  ②所有磁盘都配置为冗余阵列(RAID 1,3,5,10)。
  4)所有的操作都是在不中断系统操作的情况下进行的。

云存储的概念与技术原理

  云存储其实是在云计算的概念上发展出来的一个概念，一般包含两个含义：
  1)云存储是云计算的存储部分，即虚拟化的、易于扩展的存储资源池。用户通过云计算使用存储资源池，但不是所有的云计算的存储部分都是可以分离的。
  2)云存储意味着存储可以作为一种服务，通过网络提供给用户。用户可以通过若干种方式(互联网开放接口、'在线服务等)来使用存储，并按使用(时间、空间或两者结合)付费。

分布式存储

  目前业界两种主流云存储技术解决方案：基于虚拟化技术和分布式存储。
  分布式存储：分布式块存储、分布式文件存储、分布式对象存储、分布式表存储
  存储虚拟化：基于主机的存储虚拟化、基于网络的存储虚拟化、基于存储设备的存储虚拟化

1.分布式块存储
  块存储将存储区域划分成固定大小的小块，是传统裸存储设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过SCSI/SAS或FC SAN与存储服务器连接，服务器直接通过SCSI/SAS或FC协议控制和访问数据。块存储方式不存在数据打包/解包过程，可提供更高的性能。
块存储技术特点：
  1)基于传统的磁盘阵列实现，对外提供标准的FC或isCSI协议。
  2)数据访问特点:延迟低、带宽较高，但可扩展性差。
  3)应用系统跟存储系统耦合程度紧密。
  4)以卷的方式挂载到主机操作系统后，可格式化文件系统，或以裸数据或文件系统的方式作为数据库的存储。

2.分布式文件存储
  文件存储以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个计算机上的共享文件夹集合成一个虚拟共享文件夹，将整个分布式文件资源以统一的试图呈现给用户。 它对用户和应用程序屏蔽各个节点计算机底层文件系统的差异，提供用户方便的管理资源的手段或统一的访问接口。
技术特点：
  1）提供NFS/CIFS/POSIX等文件访问接口
  2）协议开销较高、响应延迟较块存储长
  3）应用系统跟存储系统的耦合程度中等
  4）存储能力和性能水平扩展
适用场景：
  1）适合TB~PB级文件存储，可支持文件频繁修改和删除。例如图片、文件、视频、邮件附件、MMS的存储
  2）海量数据存储及系统负载的转移
  3）文件在线备份
  4）文件共享
3.分布式对象存储
  对象存储为海量非结构化数据提供Key-Value这种通过键-值查找数据文件的存储模式，提供了基于对象的访问接口，有效地合并了NAS和SAN的存储结构优势，通过高层次的抽象具有NAS的跨平台共享数据和基于策略的安全访问优点，支持直接访问具有SAN的高性能和交换网络结构的可伸缩性。
技术特点：
  1）访问接口简单，提供REST/SOAP接口
  2）协议开销高、响应延迟较文件存储长
  3）引入对象元数据描述对象特征
  4）应用系统跟存储系统的耦合程度松散
  5）支持一次写多次读
对象存储系统的组成部分：
  1）对象（Object）：对象存储的基本单元
  2）对象存储设备（OSD）：对象存储系统的核心
  3）文件系统：文件系统对用户的文件操作进行解释，并在元数据服务器和对象存储设备间通信，完成所请求的操作。
  4）元数据服务器（MDS）：为客户端提供元数据
  5）网络连接：对象
4.分布式表存储
  存储系统用来存储和管理结构化/半结构化数据，向应用系统提供高可扩展的表存储空间，包括交易型数据库和分析型数据库。
  NoSQL是设计满足超大规模数据存储需求的分布式存储系统，没有固定的Schema，不支持join操作，通过“向外扩展”的方式提高系统负载能力。

NoSQL数据库分类