错误的状况下，ceph IO 的一致性如何保证

最新推荐文章于 2022-01-26 20:45:48 发布

guzyguzyguzy

最新推荐文章于 2022-01-26 20:45:48 发布

阅读量2.5k

点赞数

分类专栏： ceph 文章标签：集群 ceph

本文链接：https://blog.csdn.net/guzyguzyguzy/article/details/53608829

版权

在错误情况下，如OSD故障，Ceph如何确保IO一致性。当OSD挂载，如osd.2，主OSD（如osd.0）会在心跳超时后报告其挂载状态，导致受影响的PG进入peering并阻止IO。在peering期间，操作会重新排队，等待PG恢复活跃状态。如果所有副本OSD都挂载，IO会被阻塞直到恢复到最小阈值。即使主OSD挂载，IO处理仍能保持一致性。

摘要由CSDN通过智能技术生成

最近研究了在出现错误的状况下，ceph IO 的一致性如何保证。代码基于hammer0.94.5版本。构建一个集群，包括三个OSD, osd.0 osd.1 osd.2。
代码基于hammer0.94.5版本。构建一个集群，包括三个OSD, osd.0 osd.1 osd.2。
从客户端发送IO写操作A，osd.0 是primary, osd1/2是replica. 假设osd.2此时由于网络或者硬盘故障，或者软件bug挂了。此时osd0 自己完成了本地写，收到了osd.1的副本写ack,还在等待osd.2的副本写ack. 在最长等待osd_heartbeat_grace，默认是20秒后，利用心跳机制，会向monitor汇报此osd挂掉。此时集群会进入peering,在peering的时候，受影响的pg,io 会被block住。这个时候详细来看作为primay的osd.0 如何处理写操作A。在peering之前， osd0 会调用void ReplicatedPG::on_change(), 进一步调用apply_and_flush_repops()
这里写图片描述
apply_and_flush_repops()会将操作A requeue到op_wq里去。