第十章 云存储技术

由于用户数量众多，存储系统需要存储的文件将呈指数级增长态势，这就要求存储系统的容量扩展能够跟得上数据量的增长，做到无限扩容，同时在扩展过程中最好还要做到简便易行，不能影响到数据中心的整体运行，如果容量的扩展需要复杂的操作，甚至停机，这无疑会极大地降低数据中心的运营效率。

云时代的存储系统需要的不仅仅是容量的提升，对于性能的要求同样迫切，与以往只面向有限的用户不同，在云时代，存储系统将面向更为广阔的用户群体，用户数量级的增加使得存储系统也必须在吞吐性能上有飞速的提升，只有这样才能对请求作出快速的反应，这就要求存储系统能够随着容量的增加而拥有线性增长的吞吐性能，这显然是传统的存储架构无法达成的目标。

传统的存储系统由于没有采用分布式的文件系统，无法将所有访问压力平均分配到多个存储节点，因而在存储系统与计算系统之间存在着明显的传输瓶颈，由此而带来单点故障等多种后续问题，而集群存储正是解决这一问题，满足新时代要求的一剂良药。

云存储具备以下优势:
(1)存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，客户看到的是单一存储空间;
(2)提高了存储效率，通过虚拟化技术解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能;
(3)云存储能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费。

云存储是一种网上在线存储（英语：Cloud storage）的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，而非专属的服务器上。托管（hosting）公司运营大型的数据中心，需要数据存储托管的人，则透过向其购买或租赁存储空间的方式，来满足数据存储的需求。数据中心营运商根据客户的需求，在后端准备存储虚拟化的资源，并将其以存储资源池（storage pool）的方式提供，客户便可自行使用此存储资源池来存放文件或对象。实际上，这些资源可能被分布在众多的服务器主机上。云存储这项服务乃透过Web服务应用程序接口（API）, 或是透过Web化的用户界面来访问。
工作原理
云存储是在云计算(cloud computing)概念上延伸和衍生发展出来的一个新的概念。云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和”超级计算机”同样强大的网络服务。
云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性，并节约存储空间。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。如果这样解释还是难以理解，那我们可以借用广域网和互联网的结构来解释云存储。
实现前提
一、宽带网络的发展
真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统，使用者需要通过ADSL、DDN等宽带接入设备来连接云存储。只有宽带网络得到充足的发展，使用者才有可能获得足够大的数据传输带宽，实现大量容量数据的传输，真正享受到云存储服务，否则只能是空谈。
二、 WEB2.0技术
Web2.0 技术的核心是分享。只有通过web2.0技术，云存储的使用者才有可能通过 PC、手机、移动多媒体等多种设备，实现数据、文档、图片和视音频等内容的集中存储和资料共享。
三、应用存储的发展
云存储不仅仅是存储，更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环节，提供系统性能和效率，保证整个系统的高效稳定运行。
四、集群技术、网格技术和分布式文件系统
云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，任何一个单点的存储系统都不是云存储。
既然是由多个存储设备构成的，不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术，实现多个存储设备之间的协同工作，多个存储设备可以对外提供同一种服务，提供更大更强更好的数据访问性能。如果没有这些技术的存在，云存储就不可能真正实现，所谓的云存储只能是一个一个的独立系统，不能形成云状结构。
五、 CDN内容分发、P2P技术、数据压缩技术
CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术
CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证，想来也没有人敢用云存储，否则，保存的数据不是很快丢失了，就是全国人民都知道了。
六、存储虚拟化技术、存储网络化管理技术
云存储中的存储设备数量庞大且分布多在不同地域，如何实现不同厂商、不同型号甚至于不同类型（如FC存储和 IP存储）的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。
云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。虽然这些问题对云存储的使用者来讲根本不需要关心，但对于云存储的运营单位来讲，却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。因此，云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台，可实现云存储系统中所有存储设备、服务器和网络设备的集中管理和状态监控。
功能
云存储提供的诸多功能和性能旨在满足伴随海量非活动数据的增长而带来的存储难题：
· 随着容量增长，线性地扩展性能和存取速度。
· 将数据存储按需迁移到分布式的物理站点。
· 确保数据存储的高度适配性和自我修复能力，可以保存多年之久。
· 确保多租户环境下的私密性和安全性。
· 允许用户基于策略和服务模式按需扩展性能和容量。
· 改变了存储购买模式，只收取实际使用的存储费用，而非按照所有的存储系统，包含未使用的存储容量，来收取费用。
· 结束颠覆式的技术升级和数据迁移工作。
优势
(1)存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，客户看到的是单一存储空间;
(2)提高了存储效率，通过虚拟化技术解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能;
(3)云存储能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费;
云存储技术在安防领域应用存在的问题
受限于安防视频监控自身业务的特点，监控云存储和现有互联网云计算模型会有区别，如安防用户倾向于视频信息存储在本地、政府视频监控应用比较敏感、视频信息的隐私问题、视频监控对网络带宽消耗较大等问题。
主要用途
云存储通常意味着把主数据或备份数据放到企业外部不确定的存储池里，而不是放到本地数据中心或专用远程站点。支持者们认为，如果使用云存储服务，企业机构就能节省投资费用，简化复杂的设置和管理任务，把数据放在云中还便于从更多的地方访问数据。 数据备份、归档和灾难恢复是云存储可能的三个用途。 “云的出现主要用于任何种类的静态类型数据的任何种类的大规模存储需求。”“你不想在云中存储数据库，但是你可能想在云中存储你的数据库的一个历史的副本，而不是将其存储在很昂贵的SAN或NAS技术中。” “一个好的概测法是将云看作是只能用于延迟性应用的云存储。”“备份，归档和批量文件数据可以在云中很好地处理，因为可以允许几秒的延迟响应时间。”另一方面，她指出，由于延迟的存在，数据库和“性能敏感”的任何其数据不适用于云存储。 但是在将数据迁移至云中之前，无论是公共云还是私有云，用户都需要解决一个更加根本的问题。 “如果你进入云存储，你能明白存储空间的增长在哪里失去控制，或者为什么会失去控制么，以及在整个端到端的业务流程中存储特殊的一组数据的时候，价值点是什么?仅仅将技术迁移到云中并不是最佳的解决方案。”减少工作和费用是预计云服务在接下来几年会持续增长的一个主要原因。据研究公司IDC声称，全球IT开支当中有4%用于云服务;到2012年，这个比例会达到9%。由于成本和空间方面的压力，数据存储非常适合使用云解决方案;IDC预测，在这同一期间，云存储在云服务开支中的比重会从8%增加到13%。