ceph 数据校验机制 scrub源码分析

ceph 用来保证数据完整性的机制(read verify)。 Ceph 的OSD 定期启动scrub线程来扫描部分对象，通过与其他副本比对来发现是否一致，如果存在不一致，抛出异常提示用户手动解决。

具体讲，scrub 以PG 为单位，对于每一个pg,ceph 分析该pg下所有的object, 产生一个类似于元数据信息摘要的数据结构，如对象大小，属性等，叫scrubmap, 比较主与副scrubmap，来保证是不是有object 丢失或者不匹配。

lightscrub(daily)比较object size 和属性。deep scrub (weekly)读取数据部分并通过checksum(这里是CRC32)比较保证数据一致性。

 

Scrub方式分成两种， classic vs. chunky

Scrub流程需要提取对象的校验信息然后跟其他副本的校验信息对比，这期间被校验对象的数据是不能被修改的,所以write请求会被block. 由于pg可能包含成千上万objects,   chunk每一次的比较只取其中一部分object来比较（chunk），这样只block一小部分object的write请求。这是在ceph的Bobtail(v0.56  Jan 1 2013)引入的feature,称为chunky scrub. Classic scrub 没有引入chunk， 会block所有的write请求。

 

Scrub 流程

$ cephpg scrub 2.9f9  //用户手动触发scrub

1.monitor 进程接收到此指令， in PGMonitor.ccin preprocess_command(), monitor 给pg 所在的主osd 发消息new MOSDScrub， 指示开始干活。

2. 主osd上，_dispatch()-->handle_scrub()：