云存储相关理论知识

云存储相关理论知识

1. 云存储技术与传统存储技术

​ 由于用户数量众多，存储系统需要存储的文件将呈指数级增长趋势，这就要求存储系统的容量扩展能够跟得上数据量的增长，做到无限扩容，同时在扩展过程中最好还要做到简便易行，不能影响到数据中心的整体运行，如果容量的扩展需要复杂的操作，甚至停机，这无疑会极大地降低数据中心的运行效率。

​ 云时代的存储系统需要的不仅仅是容量的提升对于性能的要求同样迫切，与以往只面向有限的用户不同，在云时代，存储系统将面向更为广阔的用户群体，用户数量级的增加使得存储系统也必须在吞吐性能上有飞速的提升，只有这样才能对请求做出快速的反应，这就要求存储系统能过随着容量的增加而用于线性增长的吞吐性能，这显然是传统的村容架构无法达成的目标。

​ 传统的存储系统由于没有采用分布式的文件系统，无法将所有访问压力平均分配到多个存储结点，因而在存储系统与计算系统之间存在着明显的传输瓶颈，由此而带来单点故障等多种后续问题，而集群存储正式解决这一问题，满足新时代要求的一剂良药。

2. 云存储的优势

• 存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，客户看到的是单一存储空间。
• 提高了存储效率，通过虚拟化技术解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余的功能。
• 云存储能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费。

3. 云存储模式

​ 目前的云存储模式主要有两种：一种是文件的大容量分享，有些SSP（供应方平台）甚至号称无限容量，用户可以把数据文件保存在云存储空间里。另一种模式是云同步存储模式。例如dropbox,skydrive,谷歌的GDrive，还有苹果的iCloud等SSP提供的云存储业务。

4. 云存储的概念与技术原理

​ 关于云存储的定义，目前没有标准。百度百科给出的定义是：云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过虚拟化、集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协作工作，共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性，并借阅存储空间。简单来说，云存储就是把储存资源放到云上人工存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可联网的装置连接到云上方便地存储数据。

​ 云存储作为云计算的一个核心组成部分，承担着数据最底层数据存储与信息收集的任务，它是整个云平台、云服务的基础。与传统存储设备相比，对它的定义不能简单的理解为是一个单一的硬件设备，这个设备也可以理解为一个系统，这个系统一般都由服务器、存储、网络及相关软件等硬件环境构成。

一些概念

DAS

​ DAS是指将存储设备通过SCSI（Small Computer System Interface，小型计算机系统专用接口）接口或光线通道直接连接到一台计算机上。顾名思义，这是为了小型计算机设计的扩充接口。DAS将存储设备直接连接到服务器，是最传统的、最常见的连接方式，容易理解、规划和实施。但是DAS没有独立操作系统，也不能提供跨平台的文件共享，各平台下的数据须分别存储，且各DAS系统之间没有连接，数据只能分散管理。

优点：

1. 连接简单
2. 低成本需求
3. 较好性能

缺点：

1. 有限的扩展性
2. 专属的连接
3. TCO（总拥有成本高）

NAS

​ NAS是将存储设备连接到现有网络上，提供数据和文件服务，应用服务器直接把File I/O请求通过LAN传给远端NAS中的文件系统，NAS中的文件系统发起Block I/O到与NAS直连的磁盘。NAS主要面向高效的文件共享任务，适用于那些需要网络进行大容量文件数据传输的场合。NAS本身装有独立的操作系统，通过网络协议可以实现完全跨平台共享，但NAS系统的前期投入相对较高。

优点：

1. 资源共享
2. 构建于IP网络之上
3. 部署简单
4. 较好的可扩展性

缺点：

1. 可扩展性有限
2. 宽带瓶颈

SAN

​ SAN通过光纤通道连接到一群计算机上。在该网络中提供了多主机连接，但并非标准的网络拓扑。它是一个用在服务器和存储资源之间的、专用的、高性能的网络体系，为实现大量原始数据的传输而进行了专门的优化。SAN是一种高可用性、高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和回恢复存在巨大的优势；SAN是一种非常安全的快速传输、存储、保护、共享和恢复数据的方法。

优点：

1. 实现存储介质的共享
2. 非常好的扩展性
3. 易于数据备份和恢复
4. 高性能
5. 低的TCO

缺点：

1. 成本较高
2. SAN孤岛
3. 技术较为复杂

RAID

​ 磁盘阵列是有很多价格较为便宜的磁盘组合而成的一个容量巨大的磁盘组，可利用个别磁盘提供数据所产生的加成效果提升整个磁盘系统效能。利用这项技术，可将数据切割成许多区段，分别存放在各个磁盘上。

磁盘热备份

​ 热备份是指在建立RAID磁盘阵列系统的时候，将其中一个磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘变取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。

快照

​ 快照是某一个时间点上的逻辑卷的映像，逻辑上相当于整个快照源卷（base volume）的副本。可将快照卷分配给任何一台主机。快照卷可读取、写入或复制，需要相当于快照源卷的20%的额外空间，主要用途是利用少量存储空间保存原始数据的备份，文件、逻辑卷恢复及备份、测试、数据分析等。

分布式块存储

​ 块存储将存储区域划分为固定大小的小块，是传统裸存储设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过SCSI/SAS 或FC SAN与存储服务器连接，服务器直接通过SCSI/SAS 或FC协议控制和访问数据。块存储方式不存在数据打包、解包过程，可提供更高的性能。

分布式文件存储

​ 文件存储以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个计算机上的共享文件夹集合成一个虚拟共享文件夹，将整个分布式文件资源已同意的视图呈现给用户。

总结：

1. 提供海量非结构化数据存储空间
2. 把分布在局域网内各个计算机上的共享文件夹集合成一个虚拟共享文件夹

分布式对象存储

​ 对象村塾为海量非结构化数据提供通过键值对查找数据文件的存储模式，提供了基于对象的访问接口，有效地合并了NAS和SAN的存储结构优势，通过高层次的抽象，具有NAS的跨平台共享数据和基于策略的安全访问有点，支持直接访问，具有SAN的高性能和交换网络结构的可伸缩性。

5.云存储的实现层次

存储层：是云存储的基础。云存储依靠存储层将不同的存储设备互联起来，形成一个面向服务的分布式存储系统。在物理存储设备之上是一个统一的存储设备管理层，实现对物理存储设备的逻辑虚拟化管理、状态监控和维护等功能。

管理调度层：是云存储的核心。主要功能是在存储层提供的存储资源上部署分布式文件系统或者建立和组织存储资源对象，并将用户数据进行分片处理，按照设定的保护策略将分片后的数据以多副本或者冗余纠删代码的方式分散存储到具体的存储资源上去。同时，在本层还会在节点间进行读写负载均衡调度以及节点或存储资源失效后的业务调度与数据重建恢复等任务，以便始终提供高性能、高可用的访问服务。不过，再具体实现时，该层的功能可能上移，位于访问接口层和应用服务层之间，甚至直接嵌入到应用服务层中，和业务应用紧密结合，形成业务专用云存储。

访问接口层：这是一个可以自由扩展的、面向用户需求的结构层。一般情况下，可以根据具体情况和需求，开放各种接口，为其提供多种服务。

用户访问层：在连接互联网的任何一台机器上，直到用户经过授权，都可以通过这一层，进入的云存储平台系统，进行云存储上的运行的授权操作，享受云存储带来的各种服务。