Ceph基于PG级别的日志保证副本之间的数据一致性。Recovery指对应副本能够通过日志进行恢复(即只需要修复改副本上与权威日志不同步的那部分对象)。Backfill指副本已经无法通过日志进行恢复,需要以PG位目标进行数据迁移的过程。因此,Backfill比Recovery时间要长。
Recovery恢复的两种方式:
1)Pull:指Primary自身存在降级的对象,由Primary按照missing_loc选择合适的副本去拉取降级对象的权威日志到本地,然后完成修复。
2)Push:指Primary感知到一个或者多个副本当前存在降级对象,主动推送每个降级对象的权威版本至相应的副本,然后再由副本本地完成的修复。
注:为了修复副本,Primary必须先完成自我修复,即通常情况下,总是先执行Pull操作,然后在执行Push的操作(但是如果客户端正好需要改写某个只在副本上处于降级状态的对象,那么此时PG会强制通过Push的方式有限修复对象,以避免长时间阻塞客户端的相关请求)。另一个必须这样处理的原因在于,客户端的请求,都是由Primary统一处理的,为了及时响应客户端的请求,也必须有限恢复Primary的本地数据。完成自我修复后,Primary可以着手修复各个副本中的降级对象。因为在此前Peering过程中,Primary已经位每个副本生成了完整的missing列表,可以据此逐个副本完成修复。
客户端发起读请求,待访问的对象在一个或者多个副本上处于降级状态,对应的读请求可以直接在Primary上完成,对象仅仅在副本上降级无任何影响。如果Primary上也处于降级状态,需要等Primary完成修复,才能继续。
客户端发起写请求,待访问的对象在一个或者多个副本上处于降级状态,必须修复该对象上所有的降级副本之后才能继续处理写请求。最坏情况,需要完成两次修复才能完成写(先修复Primary,在由Primary修复其他降级副本)