ceph存储服务结构介绍以及速度优化的方法_ceph 配置优化

* **工作原理**：RGW 通过 RADOS 提供对象存储服务，使得开发者可以利用对象存储功能构建基于云存储的应用程序，实现对象级别的数据存储和访问。

4. Librados 和 RADOS：

   • 结构：Librados 是 Ceph 提供的客户端库，用于与 RADOS 集群进行交互。RADOS 是 Ceph 的核心组件，提供对象存储服务。
   • 工作原理：使用 Librados 库，开发者可以通过 RADOS 集群执行对象级别的操作，包括读取、写入、删除对象等。这为开发者提供了直接与 Ceph 存储集群交互的接口。

这些存储服务构成了 Ceph 强大且多样化的存储功能。每种服务都针对不同的存储需求和场景，提供了灵活的、高性能的分布式存储解决方案。用户可以根据需求选择适合的存储服务来构建应用程序或满足特定的存储需求。

ceph速度优化建议

优化 Ceph 的速度通常需要考虑多个方面，包括硬件优化、软件配置和网络优化等。下面是一些改进 Ceph 性能的常见方法：

1. 硬件优化：

   • 存储介质：选择高性能的硬盘或固态硬盘 (SSD) 作为存储介质可以提高 Ceph 的性能。
   • 网络：使用高速网络设备，如以太网 (Ethernet) 或 InfiniBand，以减少网络延迟和提高带宽。
   • 硬件配置：调整服务器的配置，例如增加内存、CPU 核心数等，以满足 Ceph 集群的需求。

2. 软件配置：

   • 调整 OSD（对象存储守护进程）数量：增加 OSD 可以提高性能，但需要注意避免过多 OSD 导致管理和维护困难。
   • 调整 PG（placement group）数量：合理配置 PG 数量可以提高负载均衡和性能。
   • 优化 CRUSH 映射：CRUSH 是 Ceph 用来确定数据位置的算法，优化 CRUSH 映射可以改善数据分布和读写性能。
   • 调整缓存：使用 SSD 作为日志或元数据的缓存可以改善性能。

3. 软件更新和版本管理：

   • 保持更新：定期更新 Ceph 版本，因为新版本通常会修复漏洞并提高性能。
   • 优化配置文件：调整 Ceph 配置文件以优化性能，例如调整日志级别、调整线程池大小等。

4. 监控和调优：

   • 性能监控：使用工具监控 Ceph 集群的性能，及时发现瓶颈并进行调整。
   • 测试和基准测试：进行基准测试以评估性能改进的效果，并根据测试结果调整配置。

5. 数据平衡：

   • 数据迁移：定期进行数据迁移，避免数据在 OSD 之间不均衡分布。

6. 网络优化：

   • 网络拓扑优化：优化网络拓扑结构，减少网络延迟和提高带宽。
   • QoS（服务质量）设置：设置适当的 QoS，确保 Ceph 数据流的优先级和带宽。

7. 调整参数和配置：

   • Ceph 参数调整：根据实际情况调整 Ceph 的参数，例如调整线程数、缓存大小等。

   • OSD 参数调整：

     • osd_max_scrubs：限制每个 OSD 同时进行的数据恢复和检查次数，默认为 1。可适当增加以加速数据恢复。
     • osd_scrub_during_recovery：允许在数据恢复期间进行数据校验和修复。启用此选项可能会影响恢复速度。
     • osd_recovery_max_active 和 osd_recovery_op_priority：调整 OSD 恢复操作的并发度和优先级。

   • CRUSH 参数调整：

     • osd_crush_update_on_start：启用后，OSD 启动时将立即更新 CRUSH 映射，以便更快地适应新的设备或拓扑变化。
     • osd_crush_initial_weight：设置新 OSD 的初始权重，以影响数据分布。
     • osd_pool_default_pg_num 和 osd_pool_default_pgp_num：调整默认 PG 数量和预分配 PG 的数量，根据存储需求和数据分布进行调整。

   • 调整缓存和日志：

     • osd_op_threads 和 osd_disk_threads：调整 OSD 的操作线程数和磁盘线程数。
     • osd_memory_target：指定每个 OSD 进程可用内存的目标值。
     • osd_max_backfills：限制并行的后台填充作业数量。
     • 调整 osd_journal_size（日志大小）和 osd_max_backfill（最大后台填充数量）等参数来优化性能。

   • 网络和带宽调整：

     • osd_client_message_size_cap：调整客户端消息大小的上限。
     • osd_max_pg_per_osd：控制每个 OSD 上的 PG 数量，以避免过载和网络拥塞。
     • osd_pool_default_min_size：调整最小副本数以确保数据冗余性。

优化 Ceph 的速度是一个持续的过程，需要综合考虑硬件、软件和网络等多个因素。在进行任何改变之前，请务必备份重要数据，并谨慎地测试和评估每一项改进的效果，以避免对生产环境造成负面影响。

ceph参数优化样例：

OSD 参数优化样例：

# 调整每个 OSD 同时进行的数据恢复和检查次数
osd_max_scrubs = 4

# 允许在数据恢复期间进行数据校验和修复
osd_scrub_during_recovery = true

# 调整 OSD 恢复操作的并发度和优先级
osd_recovery_max_active = 10
osd_recovery_op_priority = 3

# 启用 OSD 启动时立即更新 CRUSH 映射
osd_crush_update_on_start = true

# 调整新 OSD 的初始权重
osd_crush_initial_weight = 1.0

# 调整默认 PG 数量和预分配 PG 的数量
osd_pool_default_pg_num = 128
osd_pool_default_pgp_num = 128

网络和带宽调整样例：

# 调整客户端消息大小的上限
osd_client_message_size_cap = 131072

# 控制每个 OSD 上的 PG 数量
osd_max_pg_per_osd = 200

# 调整最小副本数以确保数据冗余性
osd_pool_default_min_size = 2

缓存和日志调整样例：

# 调整 OSD 操作线程数和磁盘线程数
osd_op_threads = 16
osd_disk_threads = 4

# 指定每个 OSD 进程可用内存的目标值
osd_memory_target = 8589934592  # 8GB

# 限制并行的后台填充作业数量
osd_max_backfills = 2

# 调整日志大小和最大后台填充数量等参数
osd_journal_size = 1024  # MB

rbd参数调优

在 Ceph 中调整 RBD（RADOS 块设备）的性能，可以通过调整一些参数来优化其性能和稳定性。以下是一些常见的 RBD 参数和建议调优配置：

设置文件路径

通常，Ceph 配置位于 /etc/ceph/ 目录下。在该目录下有一个名为 ceph.conf 的配置文件，用于配置 Ceph 的全局参数。同时，每个 OSD 和 Monitor 也会有相应的配置文件。

RBD 参数调优建议

1. 对象大小调整

• rbd_default_stripe_unit：用于指定 RBD 镜像的条带单位大小。适当的条带大小能够提高性能，可以根据存储负载和硬件配置进行调整。

rbd_default_stripe_unit = 4096  # 4KB

• rbd_default_stripe_count：指定条带数量。同样，根据需求进行调整。

rbd_default_stripe_count = 1

2. 缓存设置

• rbd_cache：设置 RBD I/O 缓存策略。启用缓存可以提高性能，但可能会增加内存使用量。

rbd_cache = true

3. QoS 设置

• rbd_qos_bps_limit 和 rbd_qos_iops_limit：可用于限制每个 RBD 镜像的带宽和 IOPS。这有助于避免某个镜像对整个系统的性能影响。

rbd_qos_bps_limit = 100M  # 限制带宽为 100MB/s
rbd_qos_iops_limit = 500  # 限制 IOPS 为 500

4. 其他设置

• rbd_blacklist_expire_seconds：如果发生错误，该参数设置了在黑名单中保持的时间长度（以秒为单位）。

rbd_blacklist_expire_seconds = 60

示例配置

[rbd]
rbd_default_stripe_unit = 4096
rbd_default_stripe_count = 1
rbd_cache = true
rbd_qos_bps_limit = 100M
rbd_qos_iops_limit = 500
rbd_blacklist_expire_seconds = 60

请注意，这些参数的值应根据实际环境和需求进行调整。在更改这些参数之前，请先在测试环境中进行验证和评估，以确保对性能产生预期的影响。

cephfs服务调优

优化 CephFS（Ceph 文件系统）的性能需要综合考虑多个方面，包括 MDS（Metadata Server）、存储节点、网络、客户端等。以下是一些常见的 CephFS 服务优化配置建议：

MDS 参数调优

MDS 并发度

• mds_cache_size：调整 MDS 元数据缓存大小，适当增加可提高性能。

mds_cache_size = 100000  # 设置缓存大小为 100,000

MDS 相关设置

• mds_log_max_segments 和 mds_log_max_events：调整 MDS 日志的分段和事件数量。

mds_log_max_segments = 1000
mds_log_max_events = 100000

存储节点参数调优

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Linux运维工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Linux运维知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip1024b （备注Linux运维获取）

最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

资料预览

给大家整理的视频资料：

给大家整理的电子书资料：

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

整理的视频资料：

[外链图片转存中…(img-sNWN6sId-1712825780159)]

给大家整理的电子书资料：

[外链图片转存中…(img-pddFbGbt-1712825780159)]

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-k4VjVkZB-1712825780160)]