ceph基础

suum

已于 2024-10-16 09:45:14 修改

阅读量1.7k

点赞数 11

分类专栏： ceph 文章标签： ceph

于 2024-10-09 19:22:19 首次发布

本文链接：https://blog.csdn.net/m0_74752717/article/details/142794364

版权

ceph基础搭建

存储基础

传统的存储类型：

DAS设备：

SAS,SATA,SCSI,IDW,USB
无论是那种接口，都是存储设备驱动下的磁盘设备，而磁盘设备其实就是一种存储是直接接入到主板总线上去的。直连存储。

NAS设备:

NFS CIFS FTP
几乎所有的网络存储设备基本上都是以文件系统样式进行使用，无法进一步格式化操作。nas是共享的。

SAN：

SCSI协议 FC SAN ISCSI
基于san方式提供给客户端操作系统的是一种块设备接口，这些设备间主要要通过scsi协议来完成正常的通信。scsi的结构类似于tcp/ip协议也有很多层，但是scsi协议主要是用来进行存储数据操作的。既然是分层方式实现的，那就是说，有部分层可以被代替。比如，将物理层基于fc方式来实现，就形成了fcsan，如果基于以太网方式来传递，就形成了iscsi模式，整体共享，单个独享。

DAS 和 SAN 都是以块的方式来管理存储的

传统的存储方式问题

存储处理能力不足
存储空间能力不足
单点问题

ceph简介

ceph是一个多版本存储系统，它把每一个待管理的数据流（例如一个文件），切分为一到多个固定大小的对象数据，并以其为原子单位完成数据库存取

ceph特性

ceph的组件

组件	解析
Monitors	CephMonitor(守护进程ceph-mon)维护集群状态的映射，包括监视器映射，管理器映射，OSD映射,MDS映射和CRUSH映射.这些映射是Ceph守护进程相互协调所需的关键集群状态。监视器还负责管理守护进程和客户端之间的身份验证。通常至少需要三个监视器才能实现冗余和高可用性。基于paxos协议实现节点间的信息同步
Managers	Ceph管理器(守护进程ceph-mgr)负责跟踪运行时指标和Ceph集群的当前状态，包括存储利用率，当前性能指标和系统负载。Ceph管理器守护进程还托管基于Python的模块来管理和公开Ceph集群信息，包括基于web的ceph仪表板和rest api。高可用性通常至少需要两个管理器。基于raft协议实现节点间的信息同步
CephOSDs	Ceph OSD（object storage daemon）对象存储守护进程（ceph-osd）存储数据，处理数据复制，回复，重新平衡，并通过检查其他ceph osd 守护进程的心跳来向ceph监视器和管理器来提供一些监控信息。通常至少需要3个ceph osd来实现冗余和高可用性。本质上osd就是一个个host主机上的存储磁盘
MDSs	ceph元数据服务器(MDS，ceph-mds)代表ceph文件系统存储元数据。ceph元数据服务器允许posix（为应用程序提供的接口标准）文件系统用户执行基本命令（如ls，find等），而不会给ceph存储集群带来巨大的负担

Ceph 将数据作为对象存储在逻辑存储池中。使用 CRUSH算法，Ceph 计算出哪个归置组应该包含该对象，并进一步计算出哪个 Ceph OSD Daemon 应该存储该归置组。CRUSH 算法使 Ceph 存储集群能够动态扩展、重新平衡和恢复。

组件及其关系

RADOS(Reliable Autonomic Distributed Object Storec)

功能：RADOS是ceph的底层存储引擎，负责数据的存储和管理。它提供了高度可靠和自我修复的对象存储能力
作用：RADIS处理数据的复制，重平衡和回复，确保数据在故障情况下仍然可用。他是所有上层组件（RBD CephFS RADOSGW）的基础

LIBRADOS

功能：LIBRADOS是一个客户端库，允许应用程序直接与RADOS进行交互。它支持多种编程语言（c，c++，java，python，ruby，php）
作用：通过librados，开发者可以构建自己的应用程序，直接操作RADOS存储，从而实现定制化的数据存取

RBD(RADOS Block Device)

功能：RBD提供块存储功能，允许虚拟机和数据库等应用使用块设备
作用：RBD利用RADOS的特性，提供高性能和可扩展的快存储。RBD通过linux的内核客户端和qemu/kvm的驱动程序进行访问，是的虚拟机能够直接使用ceph存储

CEPHFS（Ceph File System）

功能: CEPHFS 是一个符合 POSIX 标准的分布式文件系统，支持 Linux 内核客户端和 FUSE。
作用: CEPHFS 允许用户通过文件系统接口访问存储在 RADOS 中的数据，使得 Ceph 不仅限于对象存储，还可以作为文件系统使用。

RADOSGW（RADOS Gateway）

功能: RADOSGW 是基于存储桶的 REST 网关，兼容 S3 和 Swift API。
作用: RADOSGW 提供了一种简单的方式来通过 RESTful 接口访问 RADOS 存储。它使得用户能够利用现有的 S3 和 Swift 应用程序，轻松访问 Ceph 存储。

逻辑关系和作用

基础层（RADOS）: 所有其他组件（LIBRADOS、RBD、CEPHFS、RADOSGW）都依赖于 RADOS 提供的存储能力和数据管理功能。
客户端访问（LIBRADOS、RBD、CEPHFS、RADOSGW）:
- 应用程序可以通过 LIBRADOS 直接访问 RADOS，进行数据操作。
- RBD 和 CEPHFS 提供了块和文件系统存储的抽象，使得用户可以以熟悉的方式使用 Ceph。
- RADOSGW 则使得对象存储的使用更加简便，通过兼容 S3 和 Swift 的接口，吸引更多开发者和用户。
自我修复和管理: RADOS 的自我修复和管理能力使得 Ceph 能够在节点故障或数据损坏时，自动处理数据的复制和恢复，确保高可用性和数据一致性。

以下是使用短视频的例子来解释 Ceph 的五个组件（RADOS、RADOSGW、RBD、CEPHFS、LIBRADOS）：

1. RADOS

概念：RADOS（Reliable Autonomic Distributed Object Store）是 Ceph 的底层存储层，负责数据的存储、复制和管理。

短视频例子：所有用户上传的短视频文件首先存储在 RADOS 中。RADOS 负责将这些视频数据分散存储在多个 OSD（对象存储设备）上，并确保数据的可靠性和可用性。例如，当用户上传视频时，RADOS 会将视频数据划分为多个对象，并将它们分散存储在不同的节点上。

2. RADOSGW

概念：RADOSGW 是一个提供 S3 和 Swift 兼容的 RESTful API 的网关，允许应用程序通过 HTTP 协议访问 RADOS 存储。

短视频例子：短视频平台的前端应用可以通过 RADOSGW 上传和下载视频。比如，用户通过应用选择一个视频文件并点击上传，应用使用 RADOSGW 的 S3 API 发送 HTTP 请求，将视频存储到 Ceph 中。当用户观看视频时，应用会通过 RADOSGW 获取视频文件的 URL，并从 Ceph 下载视频。