ceph osd慢请求排查

已于 2024-07-11 15:57:50 修改
阅读量520 收藏
点赞数 3
分类专栏： 开源系统运营优化 文章标签： ceph
于 2024-04-02 19:32:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yueyingshaqiu01/article/details/137284150
版权
文章探讨了如何使用Ceph的events功能来检测osd操作的耗时，特别是header_read事件耗时过长的问题。通过分析，作者指出可能的原因是数据从messenger读取延迟，涉及网络链路和CPU性能的影响。
摘要由CSDN通过智能技术生成

ceph 提供了较为完善的工具来trace osd的重要阶段耗时，称之为events，可以通过ceph daemon {admin-socket} dump_historic_slow_ops来查看，默认内存中只保存最近的osd_op_history_slow_op_size（默认20个），只要有一个请求的耗时超过osd_op_history_slow_op_threshold（默认10s），该op就会加入slow_op队列，举个例子，我们执行ceph daemon XX dump_historic_slow_ops后，发现有如下慢请求

可以发现整个请求的耗时主要在header_read event，该耗时显示header_read到all_read期间耗时18.1s，可以分析得出osd在从messenger中读取(0-4M)的数据花了18s，该请求是从10.124.107.8于12:03:35的cephfs client发出，发往osd的，进一步可以去看看src dst在这个时间点的网络链路、CPU情况

yueyingshaqiu01
关注
专栏目录
Ceph入门到精通-CEPH故障以其处理方法
隔壁老瓦的专栏
09-13 2108
MDS服务器将元数据以segments(object)方式存放，当MDS中的segments数量超出mds_log_max_segments的设置值（默认为128）时，MDS服务开始启动Trimming，即将segments数据进行回写。OSDs之间会相互测试（ping）访问速度，若两个OSDs之间的连接延迟高于1s，则表示OSDs之间的延迟太高，不利于CEPH集群的数据存储和访问。当MDS使用的缓存过高，比设定的阈值高很多时，则有此警告信息。当有mds服务crash的时候，候选的mds则补上。
Ceph入门到精通- daemons [mon.node28,mon.node30] have slow ops. (SLOW_OPS)
隔壁老瓦的专栏
05-15 644
11 slow ops, oldest one blocked for 227608 sec, daemons [mon.node28,mon.node30] have slow ops. (SLOW_OPS)systemctl |grep mon.node28 ceph-f6ba7f6c-f073-11ed-947f-fcbcd1d038ed@mon.node28.service
ceph HEALTH_WARN slow ops
mixboot
01-05 2151
ceph HEALTH_WARN slow opsHEALTH_WARN重启mon HEALTH_WARN health: HEALTH_WARN 2 slow ops, oldest one blocked for 116154 sec, mon.k093 has slow ops ceph health detail # ceph health detail HEALTH_WARN 2 slow ops, oldest one blocked for 116369 s
【ceph】ceph集群 slow req 问题剖析：30 slow requests are blocked ＞ 32 sec. Implicated osds 186，满满都是干货
zerotoall的博客
11-24 636
【ceph】ceph集群 slow req 问题剖析：30 slow requests are blocked > 32 sec. Implicated osds 186，满满都是干货 1.硬件问题：dmest -T / smartctl -a 以及查看osd日志排查 2.网络问题：自己排查自己机器环境中的网络是否不稳定 一般使用iperf 或者 长ping 以及 http 响应时间 使用time 3.时间同步ntp也要检查 4.上面问题都排除外，大概率是shard分配不合理导致osd压力
CEPH 硬盘读写慢问题影响
最新发布
本尔2008的博客
07-09 469
硬盘问题一般很少关注，就算用硬盘健康检测工具检测出来也是健康的，机器上看也是绿灯（有经验的可以从灯的闪烁频率看出异常，但一般怎么会有人长时间关注这个灯的问题）第一种就是服务器负载高，这个基本都会觉察到。有时osd down了，重启几次都失败。ceph使用时经常会碰到起不来的情况。初始化时ceph会自己进行填充操作。在使用前可以对硬盘进行读写测试。对于在使用中的盘可以进行读测试。正常都100~200MB/s。但看写入速度才几百KB/s。写入速度慢会造成创建失败。我就碰到过没初始化问题。还有一种就是硬盘问题。
Ceph集群慢请求解决思路
梦幻之巅
05-08 9730
CEPH 集群”slow request“问题处理思路 什么是“slow request”请求 当一个请求长时间未能处理完成，ceph就会把该请求标记为慢请求（slow request）。默认情况下，一个请求超过30秒未完成， 就会被标记为slow request，并打印到日志文件（默认：/var/log/ceph/ceph.log）。请求超时时间由参数osd_op_complaint_...
ceph osd slow ops 检测
Terry Tsang
02-28 973
常见 osd ops 返回信息说明
ceph慢請求
Skyeee000的博客
07-26 1513
CEPH 集群”slow request“问题处理思路 什么是“slow request”请求 当一个请求长时间未能处理完成，ceph就会把该请求标记为慢请求（slow request）。 默认情况下，一个请求超过30秒未完成，就会被标记为slow request，并打印到日志文件（默认：/var/log/ceph/ceph.log）。请求超时时间由参数osd_op_complaint_time指定，并可以动态的修改。 另外，一个请求超过5分钟未完成，会导致所在的OSD Daemon程序异常退出（自杀），
ceph osd请求处理流程
oscube的博客
10-21 442
OSD::dequeue_op-->PrimaryLogPG::do_request-->PrimaryLogPG::do_op-->PrimaryLogPG::execute_ctx-->PrimaryLogPG::prepare_transaction-->PrimaryLogPG::do_osd_ops
ceph环境下服务器定位慢盘的方法一例
forestqq的博客
06-30 789
ceph构建的分布式存储，对硬盘性能要求很高，有时硬盘SMART健康状态正常，但盘片可能存在问题了性能劣化，成为慢盘，导致分布式存储业务出现问题，此时在设备上尚无硬盘设备有故障灯，较难定位问题盘。本文探讨Linux环境下华为RH2288HV3服务器从操作系统层面定位慢盘的方法。
Ceph故障排查案例
悦分享
01-21 173
分布式存储集群的可靠性已经很高，但在大容量集群环境下，出现任何故障都可能带来集群性能问题或者数据安全隐患，因此要做好对集群状态监控及故障恢复。当故障发生后，我们要及时使用正确的处理方式排除故障。
开源Ceph10.2.1源码分析.docx
06-11
Ceph是一个开源的分布式存储系统，它以其高可用性、扩展性和灵活性著称。源码分析可以帮助我们深入了解...通过深入理解这些知识点，开发者和管理员可以更好地应对Ceph部署中的挑战，包括性能优化、故障排查和系统扩展。
ceph故障诊断与排错
07-25
慢请求的默认判定时间是30秒，即当OSD无法在op_queue队列中为请求服务30秒或以上时，这个请求就会被记录为慢请求。需要注意的是，直接修改osd_op_complaint_time参数不推荐，因为这可能会导致错误的报告问题。慢请求...
Ceph入门到精通-OSD 故障排除
隔壁老瓦的专栏
05-05 1828
例如，如果您的 OSD 节点有两个网络端口，将一个专用于公共网络，另一个专用于专用网络意味着没有路径冗余。启动共驻进程（融合），例如基于云的解决方案、虚拟机和其他将数据写入 Ceph 的应用程序，同时在与 OSD 相同的硬件上运行可能会引入显着的 OSD 延迟。如果您将 OSD 数据与元数据分开，并且您的配置文件或实际挂载中存在错误，则您可能无法启动 OSD。进程仅使用该数量的一小部分。随着集群拓扑结构和客户端工作负载的增长，神秘的间歇性连接故障和性能故障出现，随着时间的推移和一天中的某些时间变得更糟。
第一课 Ceph基础学习-Ceph集群部署和基本使用
QnHyn
10-18 1233
ceph部署
Ceph 4 slow ops, oldest one blocked for 638 sec, mon.cephnode01 has slow ops
热门推荐
Q先生
12-27 1万+
因为实验用的是虚拟机的关系，晚上一般会挂起。 第二天早上都能看到 4 slow ops, oldest one blocked for 638 sec, mon.cephnode01 has slow ops的报错。虽然不影响使用，但看着有点难受。 [root@ansible-01 ~]# ceph -s cluster: id: 38d10e08-7047-4341-bc8c...
ceph 速度奇慢原因
zrc_xiaoguo的博客
10-04 1127
存储节点性能问题：Ceph 集群中的存储节点负责存储数据和处理请求。如果存储节点的硬件配置较低或者负载过高，会影响 Ceph 的性能。负载问题：如果您的 Ceph 集群负载过高，也会导致速度缓慢。配置问题：Ceph 的性能也与其配置有关。如果配置不当，例如使用了错误的存储策略或者没有正确地调整调用参数，会导致性能下降。为了解决 Ceph 速度慢的问题，可以根据具体情况采取不同的措施，例如优化网络连接、升级硬件、重新配置 Ceph 等等。如果使用的是旧版本的 Ceph，可能会导致性能较低。
记一次Ceph OSD处理包时延产生原因
yiyeguzhou100的专栏
08-04 1091
Ceph集群中节点A向节点B的OSD发tcp包，发现B节点的OSD处理该包的时间与该包中携带的A节点发送该包的时间差大于10ms，经过查看业务代码，发现OSD使用epoll_wait有问题，在每次调用epoll_wait获取tcp包处理完毕后，会串行处理其他的事件，某些情况下，由于其他事件处理耗时较多，导致下一次调用epoll_wait的时候增加了一定时延，这个时延就导致了OSD处理包的时延。 ...
ceph osd set noout ceph osd set noscrub ceph osd set nodeep-scrub 这三条命令啥意思
05-13
这三条命令都是用来控制Ceph中OSD（Object Storage Daemon）的行为的。 - ceph osd set noout：这个命令会设置Ceph集群中的所有OSD处于“noout”模式，也就是不会再进行任何的迁移操作。这通常用于在进行维护或者升级时防止OSD在迁移数据时造成额外的负载。 - ceph osd set noscrub：这个命令会关闭Ceph集群中所有OSD的“scrub”功能，也就是不会再进行数据一致性的检查。这通常用于在进行维护或者升级时防止OSD在执行scrub操作时造成额外的负载。 - ceph osd set nodeep-scrub：这个命令会关闭Ceph集群中所有OSD的“deep-scrub”功能，也就是不会再进行更深入的数据一致性检查。这通常用于在进行维护或者升级时防止OSD在执行deep-scrub操作时造成额外的负载。 需要注意的是，这些命令会影响Ceph集群的数据一致性和性能，因此在使用前需要仔细考虑和评估风险。同时，如果使用了这些命令，在操作完成后需要及时取消相应的设置，以保障集群的正常运行。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值