初识ceph（分布式文件系统）

一、ceph的由来

     Linux持续不断进军可扩展计算空间，特别是可扩展存储空间。Ceph 最近加入到 Linux 中令人印象深刻的文件系统备选行列，它是一个分布式文件系统，能够在维护 POSIX 兼容性的同时加入了复制和容错功能。

         其命名和UCSC（Ceph 的诞生地）的吉祥物有关，这个吉祥物是 “Sammy”，一个香蕉色的蛞蝓（就是蜗牛<..>），就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比喻。

二、ceph简介与发展历程

（1）ceph简介

         Ceph 的初创来自Sage Weil 博士的 PhD 论文，论文 “Ceph: A Scalable, High-Performance Distributed File System”详细的阐述了 Ceph 的设计架构（论文网址：https://www.ssrc.ucsc.edu/Papers/weil-osdi06.pdf）。ceph的特性包括：可靠性的、可扩展的、统一的、分布式的存储系统。ceph可以提供对象存储、块存储、和文件系统3种功能。

（2）ceph的发展历程

三、Ceph的设计目标

          Ceph的设计目标是采用商用硬件来构建大规模的、具有高可用性、高可扩展性、高性能的分布式存储系统。

           商用硬件：一般指标准的x86服务器，相对于专用硬件，性能和可靠性较差，但由于价格相对低廉，可通过集群优势来发

                             挥高性能。

           高可用性：指系统的某个部件失效后，系统依然可以提供正常服务能力；可用设备部件和数据的冗余来提高可用性。

           高可扩展性：系统可灵活的应对集群的伸缩，如任意添加或删除存储节点和存储设备；系统的性能随集群的增加而线性

                                增加。

四、Ceph基本架构图

                                                                                      Ceph基本架构图

    （1）、Ceph核心组件：

                 在Ceph存储中，包含以下几个核心组件，分别是Ceph OSD；Ceph Monitor和Ceph MDS。

                 Ceph OSD：全称是Object Storage Device，主要功能包括存储数据，处理数据的复制、恢复、回补、平衡数据分

                                       布，并将一些相关数据提供给Ceph Monitor,如Ceph OSD心跳等。

                 Ceph Monitor：Ceph的监控器，主要功能是维护整个集群健康状态，提供一致性的决策，包含Monitor map、OSD

                                             map、PG(Placement Group) map和CRUSH map。

                 Ceph MDS：全称是Ceph Metadata server。主要保存的是Ceph文件系统（File system）的元数据。（Ceph的块存

                                       储和对象存储不需要Ceph MDS。Ceph MDS为基于POSIX文件系统的用户提供一些基础命令，如ls，

                                       find等命令）。

    （2）、Ceph功能特性：

                 对象存储功能特性：基于LIBRADOS之上，提供当前流行的RESTful协议的网关，并兼容S3和Swift接口，作为对象存

                                                  储，可以对接网盘应用以及HLS流媒体应用等，

                 块存储功能特性：也基于LIBRADOS之上，通过LIBRBD创建一个块设备，通过QEMU/KVM附加到VM上，作为传统的

                                              块设备来用。

                 文件系统存储功能特性：是基于RADOS来实现分布式的文件系统，引入了MDS（Metadata server）,主要为兼容

                                                        POSIX文件系统提供元数据，可当做文件系统挂载。

五、Ceph客户端接口

           ceph底层核心是RADOS。

（1）、RBD（块存储）

            RBD是通过librbd库对应用提供块存储，主要面向云平台的虚拟机提供虚拟磁盘，它类似于传统的SAN存储，都提供数据块级别的访问。

（2）、CephFS（文件系统）

             CephFS通过在RADOS基础之上增加MDS（Metadata Server）来提供文件存储。它提供libcephfs库和标准的POSIX文件接口。CephFS类似于传统的NAS存储，通过NFS或者CIFS协议提供文件系统或文件目录服务。

3）、RadosGW（对象存储）

           <1>提供RESTful  Web  API接口  

                  其接口值提供了简单的GET、PUT、DEL等其他接口，对应对象文件的上传、下载、删除、查询等操作。

           <2>采用扁平的数据组织形式

                 

Amazon的S3接口已经成为事实上的对象存储的标准接口，如上图所示，其接口分为3级存储：Account/Bucket/Object（账户/桶/对象）。

六、RADOS

         RADOS是ceph存储系统的基石，是一个可扩展的、稳定的、自我管理的、自我修复的对象存储系统，是ceph存储系统的核心，包括： Monitor模块为整个存储集群提供全局的配置和系统信息；通过CRUSH算法实现对象的寻址过程； 提供数据均衡功能；通过peering过程完成一个PG内存达成数据一致性的过程； 提供克隆和快照功能；实现对象分层存储的功能；实现数据一致性检查工具Scrub。

（1）、Monitor

             Monitor是一个独立部署的daemon进程，可保证自己的高可用。Cluster Map保存了系统的全局信息，包括：

            Monitor  Map：包括集群的fsid；所有Monitor的地址和端口；current epoch

            OSD  Map：所有OSD的列表，和OSD的状态等

            MDS  Map：所有的MDS的列表和状态

（2）、对象存储（指RADOS对象）

            对象是数据存储的基本单元，一般默认4MB大小。

            对象标识（ID），唯一标识一个对象

            对象数据，其在本地文件系统中对应一个文件，对象的数据保存在文件中

            对象的元数据，以键值对的形式，可以保存在文件对应的扩展属性中。RADOS增加了以Leveldb等的本地KV存储系统来保存对象的元数据。

（3）、pool和PG的概念

           pool是一个抽象的存储池。它规定了数据冗余的类型以及对应的副本分布策略

           PG（放置策略组），它是对象的集合，对象的副本都分布在相同的OSD列表上。一个对象只属于一个PG，一个PG对应于放置在其上的OSD列表，一个OSD可分布多个PG

（4）对象寻址过程

         对象寻址过程是指查找对象在集群中分布的位置信息。分两步：

        <1>对象到PG的映射

        <2>PG到OSD列表映射

（5）、数据读写过程

1.  Cline向该PG所在的主OSD发送写请求
2.  主OSD接收到写请求后，同时向两个从OSD发送写副本的请求，并同时写入主OSD的本地存储中
3.  主OSD接收到2个从osd发送写成功的ACK应答，同时确认自己写成功，向客户端返回写成功的ACK应答

（6）、数据均衡

             当集群新添一个OSD存储设备时，整个集群会发生数据的迁移，使得数据分布到均衡。

（7）、Peering

           ceph的peering过程是指一个PG内的所有副本通过PG日志达成数据一致的过程。

（8）、Recovery和Backfill

            Recovery过程是根据在Peering的过程中产生的、依据PG日志推算出不一致对象列表来修复其他副本上的数据。

            Backfill过程是通过逐一对比两个PG的对象列表来修复。

（9）、纠错码

             将写入的数据分成N份原始数据块，通过这N份原始数据块计算出M份校验数据块，N+M份数据块可分别保存在不同的设备或节点中。可以允许最多M个数据块失效，通过N+M份中的任意N份数据，还原出其他数据块。

（10）、快照和克隆

              快照就是一个存储设备在某一时刻的全部只读镜像。克隆是在某一时刻的全部可写镜像。快照和克隆的区别在于快照只能读，而克隆可写。

（11）、Cache  Tier

      Ceph  Client对于Cache层是透明的

       类Objector负责请求是发送给Cache Tier层，还是发给Storage Tier层

       Cache  Tier层为高速I/O层，保存热点数据，或称为活跃的数据

       Storage  Tier层为慢速层，保存非活跃的数据

（12）、Scrub

          Scrub机制用于系统检查数据的一致性。

 

参考文献

【1】《Ceph分布式存储实战》

【2】《Ceph源码分析》