[单master节点k8s部署]30.ceph分布式存储（一）

weixin_45396500

于 2024-10-05 23:35:45 发布

阅读量466

点赞数 7

分类专栏： k8s单节master点文章标签： kubernetes ceph 分布式

本文链接：https://blog.csdn.net/weixin_45396500/article/details/142720063

版权

k8s单节master点专栏收录该内容

29 篇文章 0 订阅

订阅专栏

ceph是一种分布式存储系统，包括块存储、对象存储和文件系统。

块存储（RBD）

块是一个字节序列，通常包含512个字节。基于块的存储接口是一种数据存储方式，通过将数据划分为块，并通过特定的接口来访问和管理这些数据块，进行高效的数据存储。常见的存储接口包括SCSI、iSCSI和NVMe等。

基于块的存储接口是旋转介质（硬盘、CD等）存储数据最常见的方法。

RADOS：即 Reliable Autonomic Distributed Object Store，是 Ceph 的底层存储系统，提供可靠的对象存储功能。而这里的块存储RBD的意思是RADOS block device。

对象存储

Ceph 的对象存储是基于 RADOS（Reliable Autonomic Distributed Object Store），允许用户通过 RESTful API 访问对象。Ceph 通过 RADOS Gateway 提供兼容 S3 和 Swift 的对象存储接口。

虽然ceph是使用块存储将数据存储在固定大小的块结构中，但是ceph的对象存储允许将数据以对象的形式存储，本质上还是块存储。每个对象包含实际数据及其相关元数据，通常通过唯一的标识符进行访问。对象存储通过 RESTful API（如 S3、Swift）进行访问，适合大规模的非结构化数据存储。在访问对象存储时，不需要通过文件系统查询地址，而是直接使用对象的标识符进行访问。

通过 Ceph 对象网关（radosgw），Ceph 提供了对象存储的功能。对象网关使得用户能够通过 HTTP 接口与 Ceph 存储集群交互，以对象的形式进行数据存储和管理。对象存储允许用户通过唯一标识符（ID）访问对象，而不是使用传统的文件路径。

通过 Ceph 对象网关，Ceph 实现了块存储和对象存储的结合，使用户能够灵活地在不同存储需求之间进行选择。用户可以选择高性能的块存储，也可以选择支持高并发访问和共享的对象存储，而不需要关注底层的存储实现细节。

文件系统（cephfs）

Ceph 文件系统使用与 Ceph 块设备相同的 Ceph 存储集群系统。

用户可以在块设备上创建 xfs 文件系统，也可以创建 ext4 等其他文件系统，Ceph 集群实现了自己的文件系统来组织管理集群的存储空间，用户可以直接将 Ceph 集群的文件系统挂载到用户机上使用。

虽然通过组织块设备的存储接口，可以实现高效的数据存取，但是这样组成的文件系统无法进行多处挂载和同时读写，因此有了CephFS文件系统。

Ceph 文件系统（CephFS） 是一个符合 POSIX 标准的文件系统，使用 Ceph 存储集群来存储数据。CephFS 允许多个客户端同时挂载并访问相同的文件系统，这使得它在文件共享和协作应用中表现出色。

Ceph核心组件

OSD

OSD（Object Storage Daemon） 是 Ceph 中负责存储数据的守护进程，每个 OSD 管理一个存储设备（如硬盘或 SSD）并处理数据的读写请求。它执行数据复制、恢复和再平衡操作，同时监控自身健康状态并与其他 OSD 交换心跳信息，以确保集群的稳定性和冗余性。此外，OSD 采用数据条带化存储技术，将数据分割成多个小块并分散存储在不同的 OSD 上，从而提升存储性能和容错能力，确保在部分节点故障时依然可以可靠地访问数据。

在条带化存储中，数据被分割成多个小块（或称为条带），并将这些条带分散存储在不同的 OSD（Object Storage Daemon）上。例如，假设有一个大文件，如果将它分成 4 个部分（条带），这 4 个部分可能分别存储在 4 个不同的 OSD 上。这样做的好处是提高了数据访问的并行性。例如，当一个客户端请求读取这个大文件时，可以同时从多个 OSD 中获取各个部分的数据，从而加快读取速度。

由于数据被分散存储，多个 OSD 可以同时处理 I/O 请求，因此整体的读写性能得到了提升。尤其在大文件存储或高负载情况下，这种并行访问能显著减少延迟。