云存储之网盘浅析

网盘最基础两个功能 —— 存储备份和文件共享。 
目前主要采用分布式文件系统进行管理，目前主要的分布式文件系统包括Google的GFS,Hadoop的HDFS,MogileDFS以及FastDFS。由于GFS和HDFS主要是考虑
为其搜索引擎服务的，主要以文本文件为主，并不适合于数据格式多样化的网盘系统。
MogileDFS和FastDFS均为开源分布式文件系统。相比较而言，FastDFS更高效。

针对可靠性问题。   FastDFS采用了分组存储 方式。集群由一个或多构成，集群存储总容量为集群中所有组的存储之和。
一个组由一台火多台存储服务器组成，同组内的多台Storage server之间是互备关系，同组存储服务器上的文件是完全一致的。文件上传，下载
删除等操作可以在组内任意一台Storage server上进行，采用分组存储方式的好处是灵活，可控制性较强。比如文件上传时，可以由客户端之间指定上传
到的组，一个分组的存储服务器访问压力较大时，可以在该组增加存储服务器来扩从服务能力（纵向扩容），当系统容量不足时，可以增加组来扩充
存储容量（横向扩容）。采用这样的分组存储方式，可以使用FastDFS对文件进行管理，使用流行的Web server如Apache,nginx等进行文件下载。

针对同步性文件，FastDFS采用push方式，而且只在同组内的Storage server之间进行，即源头服务器同步给目标服务器，只有源头服务器才需同步。
备份数据并不需要再次同步，这就避免构成了环路的可能性，为了最大程度地避免互相影响以及出于系统简洁性考虑，Storage server对组内除
自己以外的每台服务器都会启动一个线程来进行文件同步。

针对目录管理问题，在FastDFS中，Storage server通过文件ID对文件进行识别管理，文件ID由Storage server生成后返回给客户端，文件ID中
包含了组名，文件相对路径和文件名，Storage server可以根据文件ID直接定位到文件，（这点类似于P2P的文件管理）采用这种方式不需要
存储文件索引信息

 

FastDFS的系统架构

 

 

从根本上来说，云存储技术是一种实用型服务，它可以为众多用户提供一个通过网络访问的共享存储池。云存储不是一个设备，而是一种服务。
具体说来，它是把数据存储和访问作为一种服务并通过网络提供给用户.

云存储是在云计算概念上延伸和发展出来的一个新的概念，与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中
大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

云存储技术架构
无论存储虚拟化也好， 还是集群存储、SAN+NAS等都是一种技术，二者之间没有必然的联系。但是从架构上看，云存储会利用到现有的存储
技术。例如存储虚拟化，云存储可以借助该技术构建庞大的存储池，屏蔽底层存储差异，从而对外提供一致的服务。

从形式上看，与软件SaaS服务有些类似，所不同的是云存储所提供的存储管理和服务。
与传统的存储设备相比，云存储不只是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等
多个部分组成的复杂系统。

 

云存储系统的结构模型如下：

 

存储层
存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和 iSCSI等IP存储设备，也可以是 SCSI或SAS等 DAS存储设备。云存
储中的存储设备往往数量庞大且分布于多个不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。
存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。

基础管理层
基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多
个存储设备之间的协同工作，使多个存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。
CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问。同时，通过各种数据备份和容灾技术和措施可以保证云存储中
的数据不会丢失，保证云存储自身的安全和稳定。

应用接口层
应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。
比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。

访问层
任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储
运营单位不同，云存储提供的访问类型和访问手段也不同。

从云存储结构模型可知，云存储系统是一个多设备、多应用、多服务协同工作的集合体，它的实现要以多种技术的发展为前提。总共可以分为六
类：宽带网络的发展；WEB2.0技术；应用存储的发展；集群技术、网格技术和分布式文件系统；CDN内容分发、P2P技术、数据压缩技术、重复数据删除技
术、数据加密技术；存储虚拟化技术、存储网络化管理技术。

Web2.0技术的核心是分享。只有通过Web2.0技术，云存储的使用者才有可能通过PC、手机、移动多媒体等多种设备，实现数据、文档、图片和视音
频等内容的集中存储和资料共享。Web2.0技术的发展使得使用者的应用方式和可得服务更加灵活和多样。

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会
丢失，保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证，也就没有人敢用云存储。

云存储分为公共云存储与私有云存储。公共云是一种即付费即使用的存储服务，由第三方提供。它的所有组件都处于客户的防火墙之外，共享的基
础设施是彼此分隔的，可以通过安全的网络连接来访问。公共云存储技术与私有云存储技术之间的差别在于用户连接云的方式不同。

云存储在架构上具备数据共享、大容量（PB级）、低成本的特点。云存储在技术是存储技术的集大成者，具备虚拟化、数据压缩、重复数据删
除、基于策略的管理等先进存储技术，除此之外，云存储还有以下几个主要特点：
云存储的透明性
云存储的可扩展性
云存储的安全性

云存储技术最擅长处理大量非结构化数据和归档数据，比如信用卡、抵押贷款申请或病历数据等等。目前的公共云还不能安全可靠地处理那些需要
一直保持快速网络连接的交易文件或数据库。在目前环境下，云存储技术只适用于对网络延迟要求不高的应用环境。备份、归档和大量文件数
据都很适合储存在云中，它们对响应时间没有什么要求。另一方面，数据库和其他对性能要求很敏感的数据只不适于使用云存储技术，因为网络延时对
数据库应用来说太严重了。

云存储正成为未来存储发展的一种趋势，但云存储的发展也将面临不少挑战。首先，云存储中心的建设需要大量的投入，普通企业很少有这么大的
实力，而大型企业已经有自己的IT设施，是否愿意舍弃原先的IT设施，对企业的信息化系统，存储系统进行重新布置，需要的投入非常巨大。其次，虽然国
内已经建立了部分云存储中心，但大部分客户都是政府或者大型企业，客户群比较局限，盈利能力较弱，在国内用户没有达到一定数量的情况下，如何
维持一个云存储数据中心是个非常大的难题。最后就是云存储服务的可靠性，目前云存储服务的的可靠性还无法达到企业级的阵列要求，如何确保用户
数据的绝对可靠也是云存储需要解决的挑战。