Ceph架构剖析

e**分布式存储系统——Ceph**
1.Ceph的结构

从下到上将Ceph结构分为4层，分别介绍如下：
(1)基础存储系统——可靠的自动化分布式对象存储(RADOS)
所有存储在Ceph系统中的用户数据都在该层进行管理，而Ceph的高可靠、高可扩展、高性能、高自动化等等特性本质上也是由这一层所提供的。因此，理解RADOS是理解Ceph的基础与关键。RADOS在物理形态上由大量的存储设备节点组成，每个节点拥有自己的硬件资源（CPU、内存、硬盘、网络），并运行着操作系统和文件系统。

(2)基础库Librados
对RADOS的封装和抽象，向上层提供API，以便于直接基于RADOS进行开发。因为RADOS是一个对象存储系统，则Librados实现的API也主要是针对对象存储功能的。

(3)高级应用接口
这一层包括了三个部分：RADOS GW（RADOS Gateway）、 RBD（Reliable Block Device）和Ceph FS（Ceph File System），其作用是在librados库的基础上提供抽象层次更高、更便于应用或客户端使用的上层接口。

RADOS GW是一个提供与亚马逊S3和Swift兼容的RESTful API的gateway，以供相应的对象存储应用开发使用。RADOS GW提供的API抽象层次更高，但功能则不如librados强大。因此，开发者应针对自己的需求选择使用。

RBD则提供了一个标准的块设备接口，常用于在虚拟化的场景下为虚拟机创建volume。目前，Red Hat已经将RBD驱动集成在KVM/QEMU中，以提高虚拟机访问性能。

Ceph FS是一个POSIX兼容的分布式文件系统。

(4)应用层
这一层就是不同场景下对于Ceph各个应用接口的各种应用方式，例如基于librados直接开发的对象存储应用，基于RADOS GW开发的对象存储应用，基于RBD实现的云硬盘等等。

本节将对Ceph的工作原理和若干关键工作流程进行介绍。由于Ceph的功能实现本质上依托于RADOS，因此，此处的介绍事实上也是针对RADOS进行。对于上层的部分，特别是RADOS GW和RBD，由于现有的文档中（包括Sage的论文中）并未详细介绍，还请读者多多包涵。

2.RADOS的结构
RADOS的结构主要包括ObjectStorage Device(OSD)，Monitor和MDS。

ObjectStorage Device(OSD)负责存储数据，处理数据复制、数据恢复、数据再均衡以及通过心跳机制监测其它OSD状况并报告给Ceph Monitors。

Monitor负责监控集群状态，包括监控自身状态、集群OSD状态、Placement Group（存储组织和位置映射PGs）状态、CRUSH状态(Controlled Replication Under Scalable Hashing，一种伪随机数据分布算法)。同时，Monitor还会记录它们的每一个历史状态改变版本信息，以确定集群该遵循哪个版本。

MDS负责文件系统的元数据存储和管理，块存储和对象存储服务是不需要这个模块的。MDS负责提供标准的POSIX文件访问接口。

3.RADOS的寻址机制

(