云存储服务器技术,​云存储技术构架-服务器运维

云存储技术构架-服务器运维

云是在云计算(cloud compung)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术， 是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。

云存储系统的结构模型：

1.存储层：

存储层是云存储最基础的部分。存储设备可以是FC通道存储设备，可以是和 iS等IP存储设备，也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域。彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态和故障维护。

2.基础管理层：

基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。

3.应用层：

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘应用平台，远程数据备份应用平台等。

4.访问层：

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。云存储不是存储，而是服务

就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲，云存储不是存储，而是一种服务。

云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。

云存储系统的元数据管理模型

在云存储架构中，根据对元数据的管理模型，可以将通用云存储系统分为三种类型，即集中式元数据、分布式元数据和无元数据三种类型的系统。

1、集中式元数据云存储系统

集中式元数据云存储系统是一种典型的非对称式系统，在系统中，通常具有一个中央元数据管理服务器，负责元数据的存储和处理查询与修改请求，例如，在HDFS系统中，该元数据管理服务器即为名字节点Namenode，同时，存在大量的数据存储节点提供客户数据的并行存储与访问。这种架构中，客户端每次对数据流的I/O操作，都需要先向元数据管理服务器进行元数据查询，客户端在获得需要读写的数据块物理位置等信息后，对于数据的I/O操作则直接在客户端和数据存储节点之间进行。相对传统存储系统，集中元数据云存储系统将控制流和数据流进行了分离，系统在扩展性和处理性能方面获得了较大的提升，同时，由于元数据集中在一台服务器上进行管理，整个系统架构比较简单，降低了系统设计的复杂性，目前业界采用这种架构的系统主要有GFS、HDFS、Lustre等。

不难看出，虽然集中元数据云存储系统架构简单，但会存在两个主要的问题：

性能瓶颈问题。元数据的基本特性要求任何时候对用户数据的访问，都需要同步地修改元数据，由于每次I/O访问都需要首先访问元数据服务器，随着系统规模不断扩大，需要管理的存储节点、文件数量、I/O操作数量等都会急剧增加，而对元数据进行管理的物理服务器性能有限，从而形成性能瓶颈，这种性能瓶颈在大量小文件访问时会更为突出。为解决这一问题，人们通常会采用更高性能的，更大的内存，并且采用SSD来加速对元数据的访问，虽然能够在一定程度上提升元数据访问性能，但成本极其高昂，且提升效果有限。

元数据服务器单点故障问题。在集中元数据云存储系统中，整个系统的性能和可靠性完全依赖于元数据服务器，一旦元数据服务器故障，系统将无法提供任何服务，因此，元数据服务器就是整个系统中的潜在单点故障点。为解决这一问题，通常对元数据服务器采用备机形成HA解决方案来提供更高的系统可用性，主用服务器和备用服务器之间的元数据必须随时同步，否则一旦主用服务器故障，则可能导致数据不一致问题，但元数据同步操作会进一步加重了元数据服务器的性能负担，导致整个系统的访问性能受到拖累，而且也无法彻底解决脑裂问题。

2、分布式元数据云存储系统

为了解决集中元数据系统中的性能瓶颈和单点故障问题，一种改进后的分布式元数据云存储系统得以出现，这种系统采用多台元数据服务器形成集群工作的方式提供元数据访问服务，集群中的每一台设备都可以提供元数据访问，从而提高整体访问性能，并且解决了元数据服务器单点故障问题。分布式云存储系统需要在所有元数据存储节点之间进行元数据同步操作，这大大增加了系统设计的复杂性，在同步期间往往需要进行各种加，而加锁机制的存在导致部分任务难以并行运行，从而拖慢了整个系统的性能，此外，如果元数据没有及时得到同步，或者遭到意外破坏，则会出现同一文件或者对象的元数据不一致，进一步导致上层应用在通过不同物理服务器访问文件或对象数据时出现数据不一致或者读写错误的问题，这种风险随着云存储系统规模的扩大而大幅增加，同样，为了保证元数据同步的速度，需要采用高性能、大内存并且配备SSD的服务器，硬件成本非常昂贵。

3、无元数据云存储系统

第三种云存储系统则彻底抛弃元数据，而是采用算法来对文件或对象进行定位，并将该算法集成在每一个存储节点上，客户端从任何一个存储节点进行数据访问都会获得同样的结果，云存储系统中的每一个存储节点都可以独立、并行地对外提供服务，从而真正实现性能随节点数增加而线性扩展，由于无需在节点间进行元数据的同步操作，极大地提高了系统的稳定性和可靠性，在硬件成本方面，也相对低廉，可以用较低的建设成本获得较高的读写性能。