初识ceph(分布式文件系统)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/smart9527_zc/article/details/84971264

一、ceph的由来

     Linux持续不断进军可扩展计算空间,特别是可扩展存储空间。Ceph 最近加入到 Linux 中令人印象深刻的文件系统备选行列,它是一个分布式文件系统,能够在维护 POSIX 兼容性的同时加入了复制和容错功能。

         其命名和UCSC(Ceph 的诞生地)的吉祥物有关,这个吉祥物是 “Sammy”,一个香蕉色的蛞蝓(就是蜗牛<..>),就是头足类中无壳的软体动物。这些有多触角的头足类动物,是对一个分布式文件系统高度并行的形象比喻。

二、ceph简介与发展历程

(1)ceph简介

         Ceph 的初创来自Sage Weil 博士的 PhD 论文,论文 “Ceph: A Scalable, High-Performance Distributed File System”详细的阐述了 Ceph 的设计架构(论文网址:https://www.ssrc.ucsc.edu/Papers/weil-osdi06.pdf)。ceph的特性包括:可靠性的、可扩展的、统一的、分布式的存储系统。ceph可以提供对象存储、块存储、和文件系统3种功能。

(2)ceph的发展历程

三、Ceph的设计目标

          Ceph的设计目标是采用商用硬件来构建大规模的、具有高可用性、高可扩展性、高性能的分布式存储系统。

           商用硬件:一般指标准的x86服务器,相对于专用硬件,性能和可靠性较差,但由于价格相对低廉,可通过集群优势来发

                             挥高性能。

           高可用性:指系统的某个部件失效后,系统依然可以提供正常服务能力;可用设备部件和数据的冗余来提高可用性。

           高可扩展性:系统可灵活的应对集群的伸缩,如任意添加或删除存储节点和存储设备;系统的性能随集群的增加而线性

                                增加。

四、Ceph基本架构图

                                                                                      Ceph基本架构图

    (1)、Ceph核心组件:

                 在Ceph存储中,包含以下几个核心组件,分别是Ceph OSD;Ceph Monitor和Ceph MDS。

                 Ceph OSD:全称是Object Storage Device,主要功能包括存储数据,处理数据的复制、恢复、回补、平衡数据分

                                       布,并将一些相关数据提供给Ceph Monitor,如Ceph OSD心跳等。

                 Ceph Monitor:Ceph的监控器,主要功能是维护整个集群健康状态,提供一致性的决策,包含Monitor map、OSD

                                             map、PG(Placement Group) map和CRUSH map。

                 Ceph MDS:全称是Ceph Metadata server。主要保存的是Ceph文件系统(File system)的元数据。(Ceph的块存

                                       储和对象存储不需要Ceph MDS。Ceph MDS为基于POSIX文件系统的用户提供一些基础命令,如ls,

                                       find等命令)。

    (2)、Ceph功能特性

                 对象存储功能特性:基于LIBRADOS之上,提供当前流行的RESTful协议的网关,并兼容S3和Swift接口,作为对象存

                                                  储,可以对接网盘应用以及HLS流媒体应用等,

                 块存储功能特性:也基于LIBRADOS之上,通过LIBRBD创建一个块设备,通过QEMU/KVM附加到VM上,作为传统的

                                              块设备来用。

                 文件系统存储功能特性:是基于RADOS来实现分布式的文件系统,引入了MDS(Metadata server),主要为兼容

                                                        POSIX文件系统提供元数据,可当做文件系统挂载。

五、Ceph客户端接口

           ceph底层核心是RADOS。

(1)、RBD(块存储)

            RBD是通过librbd库对应用提供块存储,主要面向云平台的虚拟机提供虚拟磁盘,它类似于传统的SAN存储,都提供数据块级别的访问。

(2)、CephFS(文件系统)

             CephFS通过在RADOS基础之上增加MDS(Metadata Server)来提供文件存储。它提供libcephfs库和标准的POSIX文件接口。CephFS类似于传统的NAS存储,通过NFS或者CIFS协议提供文件系统或文件目录服务。

3)、RadosGW(对象存储)

           <1>提供RESTful  Web  API接口  

                  其接口值提供了简单的GET、PUT、DEL等其他接口,对应对象文件的上传、下载、删除、查询等操作。

           <2>采用扁平的数据组织形式

                 

Amazon的S3接口已经成为事实上的对象存储的标准接口,如上图所示,其接口分为3级存储:Account/Bucket/Object(账户/桶/对象)。

六、RADOS

         RADOS是ceph存储系统的基石,是一个可扩展的、稳定的、自我管理的、自我修复的对象存储系统,是ceph存储系统的核心,包括: Monitor模块为整个存储集群提供全局的配置和系统信息;通过CRUSH算法实现对象的寻址过程; 提供数据均衡功能;通过peering过程完成一个PG内存达成数据一致性的过程; 提供克隆和快照功能;实现对象分层存储的功能;实现数据一致性检查工具Scrub。

(1)、Monitor

             Monitor是一个独立部署的daemon进程,可保证自己的高可用。Cluster Map保存了系统的全局信息,包括:

            Monitor  Map:包括集群的fsid;所有Monitor的地址和端口;current epoch

            OSD  Map:所有OSD的列表,和OSD的状态等

            MDS  Map:所有的MDS的列表和状态

(2)、对象存储(指RADOS对象)

            对象是数据存储的基本单元,一般默认4MB大小。

            对象标识(ID),唯一标识一个对象

            对象数据,其在本地文件系统中对应一个文件,对象的数据保存在文件中

            对象的元数据,以键值对的形式,可以保存在文件对应的扩展属性中。RADOS增加了以Leveldb等的本地KV存储系统来保存对象的元数据。

(3)、pool和PG的概念

           pool是一个抽象的存储池。它规定了数据冗余的类型以及对应的副本分布策略

           PG(放置策略组),它是对象的集合,对象的副本都分布在相同的OSD列表上。一个对象只属于一个PG,一个PG对应于放置在其上的OSD列表,一个OSD可分布多个PG

(4)对象寻址过程

         对象寻址过程是指查找对象在集群中分布的位置信息。分两步:

        <1>对象到PG的映射

        <2>PG到OSD列表映射

(5)、数据读写过程

  1.  Cline向该PG所在的主OSD发送写请求
  2.  主OSD接收到写请求后,同时向两个从OSD发送写副本的请求,并同时写入主OSD的本地存储中
  3.  主OSD接收到2个从osd发送写成功的ACK应答,同时确认自己写成功,向客户端返回写成功的ACK应答

(6)、数据均衡

             当集群新添一个OSD存储设备时,整个集群会发生数据的迁移,使得数据分布到均衡。

(7)、Peering

           ceph的peering过程是指一个PG内的所有副本通过PG日志达成数据一致的过程。

(8)、Recovery和Backfill

            Recovery过程是根据在Peering的过程中产生的、依据PG日志推算出不一致对象列表来修复其他副本上的数据。

            Backfill过程是通过逐一对比两个PG的对象列表来修复。

(9)、纠错码

             将写入的数据分成N份原始数据块,通过这N份原始数据块计算出M份校验数据块,N+M份数据块可分别保存在不同的设备或节点中。可以允许最多M个数据块失效,通过N+M份中的任意N份数据,还原出其他数据块。

(10)、快照和克隆

              快照就是一个存储设备在某一时刻的全部只读镜像。克隆是在某一时刻的全部可写镜像。快照和克隆的区别在于快照只能读,而克隆可写。

(11)、Cache  Tier

      Ceph  Client对于Cache层是透明的

       类Objector负责请求是发送给Cache Tier层,还是发给Storage Tier层

       Cache  Tier层为高速I/O层,保存热点数据,或称为活跃的数据

       Storage  Tier层为慢速层,保存非活跃的数据

(12)、Scrub

          Scrub机制用于系统检查数据的一致性。

 

参考文献

【1】《Ceph分布式存储实战》

【2】《Ceph源码分析》

 

展开阅读全文

没有更多推荐了,返回首页