Terry Tsang

故障现象：自研S3程序写入Ceph集群时出现ETIMEDOUT错误，表现为连接mon或OSD交互超时。 排查过程： 硬件层面检查发现所有服务器OSD硬盘均出现高util和await指标 集群负载不高（1000-2000 OPS，200-400MB/s写入） 硬盘测试显示单盘写入性能正常（200-300MB/s） Ceph OSD检查显示操作未被阻塞，但历史操作记录发现异常： 典型操作从发起到完成耗时约11秒 主要延迟出现在"commit_queued_for_journal_write"到"op_app

对 blusterfs snapshot 进行测试调研

ceph mon 故障记录

前提 机器 RAID 卡故障 导致需要恢复系统， 恢复 mon, 恢复 osd 等操作 提示 恢复 mon 方法 1 剔除 mon 在集群中任意一个可用的 ceph 节点上执行 # ceph mon remove sh-ceph-128212 可以看到 monmap 变成这样子 # cat monmap *▒▒?▒@LJ▒▒▒▒▒_/▒sh-ceph-128212▒ <- 字符本来就不可阅读， 没有关系， 注意主机名前面多了一些字符 ƀ▒sh-ceph-128214▒ ƀ▒sh-ceph

说明只适用于可用使用 megacli 支持的 raid controller 只适用于手动进行 ceph 管理的集群, 不支持 ceph deploy 创建的集群 需修改对应磁盘设备命名脚本