第十章 云存储技术

第十章 云存储技术
一、存储概述
存储技长是计算机的核心技术之一。 计算机的存储技术(如硬盘、网络存储、虚拟化存储等技术)的总体趋势是存储容量和IO速度
不断增加。
1.存储的分类
存储的应用随着信息技术的出现而发展起来，应用的领域随着信息技术的发展而不断增加。如图10-2所示，根据服务器类型可以将存储分为封闭系统的存储(主要指大型机)和开放系统的存储(指基于包括Windows、UNIX、Linux 等操作系统的服务器)，开放系统的存储又可细分为内置存储和外挂存储。其中，外挂存储可以分为直连式存储( Direct-Attached Storage,DAS)和网络存储( Fabric-AttachedStorage，FAS)。 根据组网形式不同，当前3种主流存储技术或存储解决方案为直连式存储( DAS)、存储区域网络( Storage Area Network，SAN)、 网络接入存储(Network-Attached Storage，NAS)。
(1) DAS
DAS是指将存储设备通过SCSI ( Small Computer System Interface,小型计算机系统专向接口)接口或光纤通道直接连接到一台计算机上。顾名思义，这是为了小型计算机设计的扩充接口，它可以让计算机加装其他外设备以提高系统性能或增加新的功能。
(2) NAS网络接入存储
NAS是将存储设备连接到现有的网络上，提供数据和文件服务，应用服务器直接把File I/O请求通过LAN传给远端NAS中的文件系统，NAS中的文件系统发起Block I/O到与NAS直连的磁盘。NAS主要面向高效的文件共享任务，适用于那些需要网络进行大容量文件数据传输的场合。
(3)SAN储区域网络SAN通过光纤通道连接到群计算机上。在该网络中提供了多主规但主机连接，但并非标准的网络拓扑。它是一个用在服务器和在储资源之间的，专用的、高性能的网络体系，为实现大量原始数据的传输而进行了专门的优化。
SAN是-一种高可用性、 高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性; SAN对于数据库环境、数据备份和恢复存在巨大的优势;SAN是-种非常安全的快速传输、存储、保护。共享和恢复数据的方法。
2.RAID
1.RAID 0
RAID 0是没有容错设计的条带磁盘阵列，以条带形式将RAID 阵列的数据均匀分布在各个阵列中。RAID 0没有磁盘冗余，一个磁盘失败导致数据丢失。总容量=磁盘数量*磁盘容量。
2.RAID 1
RAID 1以镜像作为冗余手段，虚拟磁盘中的数据有多个副本，放在成员磁盘上，具有100%事物数据冗余，但磁盘空间利用率只有50%，总容量=（磁盘数/2）磁盘容量。
3.RAID 3（只支持一块磁盘的损坏）
RAID3(条带分布十+专用盘校验)以XOR校验冗余方式，使用专门的磁盘存放校验数据，虚拟磁盘上的数据块被分为更小的数据块并行传输到各个成员物理磁盘上,同时计算出XOR校验数据并存放到校验磁盘上。只有一个磁 盘损坏的情况下，RAID 3能通过校验数据恢复损坏磁盘，但在两个以上磁盘同时损坏情况下，RAID 3不能发挥数据校验功能。总容量=(磁盘数量-1) (磁盘容量)
4. RAID 5（每块磁盘都有校验码）
RAID 5 (条带技术+分布式校验)以XOR检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。相对于RAID 3,RAID 5改善了校验盘的瓶颈，总容量= (磁盘数-1)x (磁盘容量)
5. RAID 6
RAID 6能够允许两个磁盘同时失效的RAID级别系统，其总容量=(磁盘数-2)x(磁盘容量)
6. RAID 10
RAID 10 (镜像阵列条带化)是将镜像和条带组合起来的组合RAID级别，最低一级是RAID 1镜像对，第二级.为RAID0。其总容量= (磁盘数/ 2) x (磁盘容量)。
7.RAID 50（里是RAID 5 ，外是RAID 0）
RAID 50是将镜像和条带讲合起来的组合RAID级别、最低级是RAID 5镜像对，第级为RATD 0.其总容量=（磁盘数-1）×磁盘容量
3.快照
快照是某个时间点上逻辑卷的映像，’逻辑上想当于整个快照原卷（base volume)的副本，可将快照卷分配给任何一台主机。快照卷可读取、写人或复制，需要相当于需要快照源卷（base vlume) 20%的额外空间，主要用途是利用少是存储空间保存原始数据的备份，文件、
逻辑卷恢复及备份、测试、数据分析等。
快照仓储齿(repository volume )用于保存快照源卷在快照过程中被修改以前的数据。
5 ,数据分级存储的概念
数据分级存储即把数据在立放在还同类别的存储设备上（磁盘、磁盘阵列、磁带）中，通过分级存储管理软件实现数据实体在存储设备之间的自动迁移；根据数据的访问频率、保留时间、容量、性能要求等因素确定最佳存储策略，，从而控制数据迁移的规则。
分级存储具有以下优点:
1)最大限度地满足用户需求。
2)减少总体存储成本。
3)性能优化。
4)改善数据可用性。
5)数据迁移对应用透明。
二、云存储的概念与技术原理
云储存其实是云计算概念上发展出来的一个概念，一般包括俩个含义：
1)云存储是云计算的存储部分.即虚拟化的、易于扩展的存储资源池 。用户通过云计算使用存储资源池、但不是所有的云计算的存储部分都是可以分离的。
2) 云存储意味着存储可以作为一一种服务，通过网络提供给用户，用户可以通过若干种方式(互联网开放接口、在线服务等)来使用存储，并按使用（时间、空间或俩者结合）付费。
1.分布式存储
分布式存储主要包括分布式块存储、分布式文件存储、分布式对象存储、分布式表存储。
1.1分布式块存储
块存储将存储区域划分成固定大小的小块，是传统裸存设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过SCS/SAS或FC SAN与存储服务器连接，服务器直接通过SCSI/SAS或FC SAN协议控制和访问数据。块存储方式不存在数据打包/解包过程。可提供更高的性能。分布式块存储的系统目标是，为现有的各种应用提供通用的存储能力。
块存储技术特点：
1）基于传统的磁盘阵列实现，对外提供标准的FC或SCIS协议。
2）数据访问特点：延迟低、带宽较高，但可扩展性差。
3）应用系统跟存储系统耦合程度紧密。
4）以卷的方式挂载到主机操作系统后，可格式化文件系统，或以裸数据或文件系统的方式作为数据库的存储。
1.2分布式文件存储
文件存储以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个计算机上的贡献文件夹集合成一个虚拟贡献文件夹，将整个分布式文件资源以统一的视图呈现给用户。它对用户和应用程序屏蔽各个结点计算机底层文件系统的差异，提供用户方便的管理资源的手段或统一的访问接口。
1.3分布式对象存储
对象存储为海量非结构化数据提供通过键-值查找数据文件的存储模式，提供了基于对象的访问接口，有效地合并了NAS和SAN的存储结构优势，通过高层次的抽象，具有NAS的跨平台共享数据和基于策略的安全访问优点，支持直接访问，具有SAN的高性能和交换网络结构的可伸缩性。
对象存储系统的组成部分:
1)对象：对象存储的基本单元。
2）对象存储设备：对象存储系统的核心。
3)文件系统：对用户的文件操作进行解释，并在元数据服务器和对象存储设备间通信，完成所有请求的操作。
4）元数据服务器：为客户端提供元数据。
5）网络连接：对象存储系统的重要组成部分
1.4分布式表存储
分布式表存储以键-值对的形式进行存储，结构灵活，不像关系数据库那样每个元组有固定的字段数。分布式表存储允许每个元组可以有自己不一样的字段构成，也可以根据需要增加一些自己所特有的键-值对，这样每个结构就很灵活，可以动态调整，减少一些不必要的处理时间和空间开销。
分布式表存储系统的目标是管理结构化数据或半结构化数据。表存储系统用来向应用系统提供高可扩展性的表存储空间，包括交易型数据库和分析型数据库。交易型数据的特点是，每次更新或查找少量记录，并发量大，响应时间短;分析型的数据特点是,更新少，批量导入，每次针对大量数据进行处理，并发量小。交易型数据常用NoSOL存储,而分所型数据章常用日志详单类存储。
三、对象存储技术
对象存储 系统有以下几个重要组成部分：
1）对象：包含了文件数据以及相关的属性信息，可以进行自我管理。对象按照其职责、功能等可以将对象分为：根对象，分区对象，集合对象，用户对象。
2） OSD:一个智能设备是对象的集合。
3）心文件系统：运行在客户端上， 将应用程序的文件系统请求传输到MDS和OSD上。
4） MDS：提供元数据、Cache一致性等服务。
5)网络连接:是对象存储系统的重要组成部分，将客户端、MDS和OSD连接起来,构成一个完整的系统对象存储的基本单元。每个对象是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。.对象维护自己的属性，从而简化了存储系统的管理任务,增加了灵活性。对象的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。
存储技术的发展趋势
1.存储虚拟化
1959年提出虚拟化技术，它是目前以及未来的存储技术热点，RAID、LVM、SWAP、VM、文件系统等都归属于其范畴。目前最新的存储虚拟化技术有HSM、自动精简配置、云存储、分布式文件系统、另外还有诸如动态内存分区、SAN和NAS虚拟化。
2.固态硬盘SSD
是目前备受存储界广泛关注的存储新技术，被看一种革命性的存储技术，可能会给存储行业甚至计算机体系结构带来变革。SSD与传统磁盘不同，它是一种电子器件而非物理机械装置，具有体积小、能耗小、抗干扰能力强、寻址时间极小、IOPS高、I/O性能高等特点。
3.SOHO存储
SOHO (Small Ofice, Home Oficer存储即家庭或个人存储。现代家庭中拥有多台PC，笔记本式计算机、.上网本、 平板计算机、智能手机，这种情况业已非常普遍，这些设备将组成家庭网络。
SOHO存储的数据主要来自个人文档、工作文档、软件与程序源码、电影与音乐、自拍视频与照片，部分数据需要在不同设备之间共享与同步，重要数据需要备份或者在不同设备之间复制多份，需要在多台设备之间协同搜索文件，需要多设备共享的存储空间等。
SOHO存储目前大致有两种思路，一是home NAS微型存储装置.提供文件级的集中共享存储空间，并在NAS提供数据备份和复制、数据管理 、高级文件检索、多种数据访问协汉有接口等功能。二是P2P存储系统，利用软件系统将各个设备的存储空间统一起来,提是供一
虚拟的集中共享存储空间，同样可以提供home NAS上的所有功能。
5.语义化检索

6,语义化检索
数据检索目前主要分为两类，一是基于文件名，二是基于文件内容。主流文件系统的数据检索都是基于文件名进行的，桌面搜索引擎则综合文件名和文件内容进行检索，前者遍历文件系统元数据，后者需要解析文件内容，它们都是通过关键字匹配来实现检索的。显然，这两类检索的语义是非常有限的，与人类思维方式有着很大的区别。
存储系统完全可以实现语义化的检索，通过文件属性和关系来检索文件，并用关系网络(类似社会化网络)来表示检索结果。这种方式语义上更加丰富，检索结果更加精确，也更加符合人类的思维方式。面对海量的数据，精确、高效地检索出自己需要的数据是第一步，语义化检索符合存储技术的发展趋势。
7.存储智能化
人工智能是计算机的发展方向，这是一个理想而艰巨的目标。对于存储系统来说，智能化代表着自动化、自适应、兼容性、自治管理、弹性应用，通过对系统的监控、分析和挖掘来发现数据应用的特点和使用者的行为模式并动态调整配置，从而达到最佳的运行状态。
在储智能化可以分别在存储系统栈中的不同层次实现，包括磁盘、RAID卷管理器、文件系统、NAS系统、应用系统，从而形成系i的存储能化。