第十章云存储技术

第十章云存储技术

一、存储概述
存储技术是计算机的核心技术之一。 计算机的存储技术(如硬盘、网络存储、虚拟化存储等技术)的总体趋势是存储容量和IO速度
不断增加。
云存储组网形态
1.存储的分类
存储的应用随着信息技术的出现而发展起来，应用的领域随着信息技术的发展而不断增加。如图10-2所示，根据服务器类型可以将存储分为封闭系统的存储(主要指大型机)和开放系统的存储(指基于包括Windows、UNIX、Linux 等操作系统的服务器)，开放系统的存储又可细分为内置存储和外挂存储。其中，外挂存储可以分为直连式存储( Direct-Attached Storage,DAS)和网络存储( Fabric-AttachedStorage，FAS)。 根据组网形式不同，当前3种主流存储技术或存储解决方案为直连式存储( DAS)、存储区域网络( Storage Area Network，SAN)、 网络接入存储(Network-Attached Storage，NAS)。
(1) DAS
DAS是指将存储设备通过SCSI ( Small Computer System Interface,小型计算机系统专向接口)接口或光纤通道直接连接到一台计算机上。顾名思义，这是为了小型计算机设计的扩充接口，它可以让计算机加装其他外设备以提高系统性能或增加新的功能。
(2) NAS网络接入存储
NAS是将存储设备连接到现有的网络上，提供数据和文件服务，应用服务器直接把File I/O请求通过LAN传给远端NAS中的文件系统，NAS中的文件系统发起Block I/O到与NAS直连的磁盘。NAS主要面向高效的文件共享任务，适用于那些需要网络进行大容量文件数据传输的场合。
(3)SAN储区域网络SAN通过光纤通道连接到群计算机上。在该网络中提供了多主规但主机连接，但并非标准的网络拓扑。它是一个用在
服务器和在储资源之间的，专用的、高性能的网络体系，为实现大量原始数据的传输而进行了专门的优化。
SAN是-一种高可用性、 高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性; SAN对于数据库环境、数据备份和恢复存在巨大的优势;SAN是-种非常安全的快速传输、存储、保护。共享和恢复数据的方法。
2.RAID
磁盘阵列（Redundant Arrays of Independent Drives，RAID），有“独立磁盘构成的具有冗余能力的阵列”之意。
磁盘阵列是由很多块独立的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。 [1]
磁盘阵列还能利用同位检查（Parity Check）的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中。(来源:百度百科)

RAID 0
    没有容错设计的条带磁盘阵列,没有磁盘冗余,一个硬盘失败导致数据丢失., 总容量 = 磁盘数据 * 磁盘容量,每个条带深度为64k,使用数据分条技术,可并行读写,特点:

    可多I/O操作并行处理,读写效率高
    不存在校验,速度快
    设计使用配置都比较简单
    无冗余,数据易丢失
    不能用于关键数据环境
    至少需要2个磁盘.
RAID 1
    以镜像作为冗余手段, 数据可有多个副本, 磁盘空间利用率只有一半,因为有一半的空间用来存储镜像, 所以总容量 = (磁盘数量 / 2) * 磁盘容量,特点:

         理论上读效率是单个磁盘的两倍
        100% 数据冗余
        设计使用简单
        错误检查效率低
        软RAID下, 很少能支持硬盘的热插拔
        空间利用率只有一半
        至少需要2个磁盘

RAID 3
        条带分布+专用盘校验,总容量 = (磁盘数量 - 1) * 磁盘容量

特点:
较高的读取传输率
高可用性
高效率的错误校验
校验盘成为性能瓶颈
每次读写牵动整个组,每次只能完成一次I/O
至少需要2个磁盘

RAID 5
    条带技术 + 分布式校验, 改善了RAID3的校验盘瓶颈,(校验数据以循环方式放入每一个磁盘中)

    高读取速率
    中等写速率
    异或校验运行存储性能
    磁盘损坏后重建很复杂
    至少需要3个磁盘

RAID 6
    允许两个磁盘同时失效,但造价高昂,技术复杂,应用并不广泛
    总容量 = (磁盘数 - 2) * (磁盘容量)

    快速读写性能
    更高容错能力
    写入速度慢
    成本高
    至少需要4个磁盘
    RAID 10
    RAID 0 和 RAID 1的组合

    RAID 50
    RAID 5 与 RAID 0 的组合

数据分级存储的概念
数据分级存储即把数据在立放在还同类别的存储设备上（磁盘、磁盘阵列、磁带）中，通过分级存储管理软件实现数据实体在存储设备之间的自动迁移；根据数据的访问频率、保留时间、容量、性能要求等因素确定最佳存储策略，，从而控制数据迁移的规则。
分级存储具有以下优点:
1)最大限度地满足用户需求。
2)减少总体存储成本。
3)性能优化。
4)改善数据可用性。
5)数据迁移对应用透明。
存储的概念与技术原理
云储存其实是云计算概念上发展出来的一个概念，一般包括俩个含义：
1)云存储是云计算的存储部分.即虚拟化的、易于扩展的存储资源池 。用户通过云计算使用存储资源池、但不是所有的云计算的存储部分都是可以分离的。
2) 云存储意味着存储可以作为一一种服务，通过网络提供给用户，用户可以通过若干种方式(互联网开放接口、在线服务等)来使用存储，并按使用（时间、空间或俩者结合）付费。
1.分布式存储
分布式存储主要包括分布式块存储、分布式文件存储、分布式对象存储、分布式表存储。
1.1分布式块存储
块存储将存储区域划分成固定大小的小块，是传统裸存设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过SCS/SAS或FC SAN与存储服务器连接，服务器直接通过SCSI/SAS或FC SAN协议控制和访问数据。块存储方式不存在数据打包/解包过程。可提供更高的性能。分布式块存储的系统目标是，为现有的各种应用提供通用的存储能力。
块存储技术特点：
1）基于传统的磁盘阵列实现，对外提供标准的FC或SCIS协议。
2）数据访问特点：延迟低、带宽较高，但可扩展性差。
3）应用系统跟存储系统耦合程度紧密。
4）以卷的方式挂载到主机操作系统后，可格式化文件系统，或以裸数据或文件系统的方式作为数据库的存储。
1.2分布式文件存储
文件存储以标准文件系统接口形式向应用系统提供海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个计算机上的贡献文件夹集合成一个虚拟贡献文件夹，将整个分布式文件资源以统一的视图呈现给用户。它对用户和应用程序屏蔽各个结点计算机底层文件系统的差异，提供用户方便的管理资源的手段或统一的访问接口。
1.3分布式对象存储
对象存储为海量非结构化数据提供通过键-值查找数据文件的存储模式，提供了基于对象的访问接口，有效地合并了NAS和SAN的存储结构优势，通过高层次的抽象，具有NAS的跨平台共享数据和基于策略的安全访问优点，支持直接访问，具有SAN的高性能和交换网络结构的可伸缩性。
对象存储系统的组成部分:
1)对象：对象存储的基本单元。
2）对象存储设备：对象存储系统的核心。
3)文件系统：对用户的文件操作进行解释，并在元数据服务器和对象存储设备间通信，完成所有请求的操作。
4）元数据服务器：为客户端提供元数据。
5）网络连接：对象存储系统的重要组成部分
1.4分布式表存储
分布式表存储以键-值对的形式进行存储，结构灵活，不像关系数据库那样每个元组有固定的字段数。分布式表存储允许每个元组可以有自己不一样的字段构成，也可以根据需要增加一些自己所特有的键-值对，这样每个结构就很灵活，可以动态调整，减少一些不必要的处理时间和空间开销。
分布式表存储系统的目标是管理结构化数据或半结构化数据。表存储系统用来向应用系统提供高可扩展性的表存储空间，包括交易型数据库和分析型数据库。交易型数据的特点是，每次更新或查找少量记录，并发量大，响应时间短;分析型的数据特点是,更新少，批量导入，每次针对大量数据进行处理，并发量小。交易型数据常用NoSOL存储,而分所型数据章常用日志详单类存储。
对象存储技术
对象存储 系统有以下几个重要组成部分：
1）对象：包含了文件数据以及相关的属性信息，可以进行自我管理。对象按照其职责、功能等可以将对象分为：根对象，分区对象，集合对象，用户对象。
2） OSD:一个智能设备是对象的集合。
3）心文件系统：运行在客户端上， 将应用程序的文件系统请求传输到MDS和OSD上。
4） MDS：提供元数据、Cache一致性等服务。
5)网络连接:是对象存储系统的重要组成部分，将客户端、MDS和OSD连接起来,构成一个完整的系统对象存储的基本单元。每个对象是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。.对象维护自己的属性，从而简化了存储系统的管理任务,增加了灵活性。对象的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。
存储技术的发展趋势
1.存储虚拟化
1959年提出虚拟化技术，它是目前以及未来的存储技术热点，RAID、LVM、SWAP、VM、文件系统等都归属于其范畴。目前最新的存储虚拟化技术有HSM、自动精简配置、云存储、分布式文件系统、另外还有诸如动态内存分区、SAN和NAS虚拟化。
2.固态硬盘SSD
是目前备受存储界广泛关注的存储新技术，被看一种革命性的存储技术，可能会给存储行业甚至计算机体系结构带来变革。SSD与传统磁盘不同，它是一种电子器件而非物理机械装置，具有体积小、能耗小、抗干扰能力强、寻址时间极小、IOPS高、I/O性能高等特点。
3.SOHO存储
SOHO (Small Ofice, Home Oficer存储即家庭或个人存储。现代家庭中拥有多台PC，笔记本式计算机、.上网本、 平板计算机、智能手机，这种情况业已非常普遍，这些设备将组成家庭网络。
SOHO存储的数据主要来自个人文档、工作文档、软件与程序源码、电影与音乐、自拍视频与照片，部分数据需要在不同设备之间共享与同步，重要数据需要备份或者在不同设备之间复制多份，需要在多台设备之间协同搜索文件，需要多设备共享的存储空间等。
SOHO存储目前大致有两种思路，一是home NAS微型存储装置.提供文件级的集中共享存储空间，并在NAS提供数据备份和复制、数据管理 、高级文件检索、多种数据访问协汉有接口等功能。二是P2P存储系统，利用软件系统将各个设备的存储空间统一起来,提是供一
虚拟的集中共享存储空间，同样可以提供home NAS上的所有功能。