ceph客户端使用_ceph分布式存储原理

1. Ceph 架构简介及使用场景介绍

1.1 Ceph 简介

1.2 Ceph 特点

1.3 Ceph 架构

1.4 Ceph 核心组件及概念介绍

1.5 三种存储类型-块存储

1.6 三种存储类型-文件存储

1.7 三种存储类型-对象存储

2. Ceph IO 流程及数据分布

2.1 正常IO 流程图

2.2 新主IO 流程图

2.3 Ceph IO 算法流程

2.4 Ceph IO 伪代码流程

2.5 Ceph RBD IO 流程

2.6 Ceph RBD IO 框架图

2.7 Ceph Pool 和 PG 分布情况

2.8 Ceph 数据扩容 PG 分布

3. Ceph 心跳机制

3.1 心跳介绍

3.2 Ceph 心跳检测

3.3 Ceph OSD 之间相互心跳检测

3.4 Ceph OSD 与 Mon 心跳检测

3.5 Ceph 心跳检测总结

4. Ceph 通信框架

4.1 Ceph 通信框架种类介绍

4.2 Ceph 通信框架设计模式

4.3 Ceph 通信框架流程图

4.4 Ceph 通信框架类图

4.5 Ceph 通信数据格式

5. Ceph CRUSH 算法

5.1 数据分布算法挑战

5.2 Ceph CRUSH 算法说明

5.3 Ceph CRUSH 算法原理

5.3.1 层级化的 Cluster Map

5.3.2 数据分布策略 Placement Rules

5.3.3 Bucket 随机算法类型

5.4 Ceph CRUSH 算法案例

6. 定制化 Ceph RBD QOS

6.1 QOS 介绍

6.2 Ceph IO 操作类型

6.3 Ceph 官方 QOS 原理

6.4 定制化 QOS 原理

6.4.1 令牌桶算法介绍

6.4.2 RBD 令牌桶算法流程

6.4.3 RBD 令牌桶算法框架图

▍1. Ceph 架构简介及使用场景介绍

▍1.1 Ceph 简介

Ceph 是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。

Ceph 项目最早起源于 Sage 就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。

RedHat 及 OpenStack 都可与 Ceph 整合以支持虚拟机镜像的后端存储。

▍1.2 Ceph 特点

高性能

a. 摒弃了传统的集中式存储元数据寻址的方案，采用 CRUSH 算法，数据分布均衡，并行度高。

b. 考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。

c. 能够支持上千个存储节点的规模，支持 TB 到 PB 级的数据。

高可用性

a. 副本数可以灵活控制。

b. 支持故障域分隔，数据强一致性。

c. 多种故障场景自动进行修复自愈。

d. 没有单点故障，自动管理。

高可扩展性

a. 去中心化。

b. 扩展灵活。

c. 随着节点增加而线性增长。

特性丰富

a. 支持三种存储接口：块存储、文件存储、对象存储。

b. 支持自定义接口，支持多种语言驱动。

▍1.3 Ceph 架构

支持三种接口：

Object：有原生的 API，而且也兼容 Swift 和 S3 的 API。

Block：支持精简配置、快照、克隆。

File：Posix 接口，支持快照。

▍1.4 Ceph 核心组件及概念介绍

Monitor

一个 Ceph 集群需要多个 Monitor 组成的小集群，它们通过 Paxos 同步数据，用来保存 OSD 的元数据。

OSD

OSD 全称 Object Storage Device，也就是负责响应客户端请求返回具体数据的进程。一个 Ceph 集群一般都有很多个 OSD。

MDS

MDS 全称 Ceph Metadata Server，是 CephFS 服务依赖的元数据服务。

Object

Ceph 最底层的存储单元是 Object 对象，每个 Object 包含元数据和原始数据。

PG

PG 全称 Placement Grouops，是一个逻辑的概念，一个 PG 包含多个 OSD。引入 PG 这一层其实是为了更好的分配数据和定位数据。

RADOS

RADOS 全称 Reliable Autonomic Distributed Object Store，是 Ceph 集群的精华，用户实现数据分配、Failover 等集群操作。

Libradio

Librados 是 Rados 提供库，因为 RADOS 是协议很难直接访问，因此上层的 RBD、RGW 和 CephFS 都是通过 librados 访问的，目前提供 PHP、Ruby、Java、Python、C和C++支持。

CRUSH

CRUSH 是 Ceph 使用的数据分布算法，类似一致性哈希，让数据分配到预期的地方。

RBD

RBD 全称 RADOS block device，是 Ceph 对外提供的块设备服务。

RGW

RGW 全称 RADOS gateway，是 Ceph 对外提供的对象存储服务，接口与 S3 和 Swift 兼容。

CephFS

CephFS 全称 Ceph File System，是 Ceph 对外提供的文件系统服务。

▍1.5 三种存储类型-块存储

典型设备：

磁盘阵列，硬盘

主要是将裸磁盘空间映射给主机使用的。

优点：

a. 通过 Raid 与 LVM 等手段，对数据提供了保护。

b. 多块廉价的硬盘组合起来，提高容量。

c. 多块磁盘组合出来的逻辑盘，提升读写效率。

缺点：

a. 采用 SAN 架构组网时，光纤交换机，造价成本高。

b. 主机之间无法共享数据。

使用场景：

a. docker 容器、虚拟机磁盘存储分配。

b. 日志存储。

c. 文件存储。

d. …

▍1.6 三种存储类型-文件存储

典型设备：

FTP、NFS 服务器

为了克服块存储文件无法共享的问题，所以有了文件存储。

在服务器上架设 FTP 与 NFS 服务，就是文件存储。

优点：

a. 造价低，随便一台机器就可以了。

b. 方便文件共享。

缺点：

a. 读写速率低。

b. 传输速率慢。

使用场景：

a. 日志存储。

b. 有目录结构的文件存储。

c. …

▍1.7 三种存储类型-对象存储