ceph scrub处理流程介绍

2019独角兽企业重金招聘Python工程师标准>>>

PG::sched_scrub()/PG::_finish_recovery()

|__PG::queue_scrub()

     |__state_set(PG_STATE_SCRUBBING)

     |__PG::requeue_scrub()

          |__OSD::queue_for_scrub()

               |__OSD::op_wq.queue()

 

PGQueueable::RunVis::operator()(PGScrub)

|__PG::scrub()

     |__PG::chunky_scrub()

          |__scrubber.state = INACTIVE               初始状态

          |__scrubber.epoch_start = info.history.same_interval_since

          |__scrubber.state = NEW_CHUNK

          |__初始化primary_scrubmap和received_maps数据结构(分别用来保存primary和replicas的scrubmap信息)

          |__PGBackend::objects_list_partial()          读取指定数量的objects

          |__遍历actingbackfill队列且调用PG::_request_scrub_map()

               |__创建MOSDRepScrub消息对象

               |__OSD::send_message_osd_cluster()将MOSDRepScrub消息对象发送给actingbackfill队列中的OSDs

          |__scrubber.state = WAIT_PUSHES

          |__等待所有replicas将scrub信息发送回primary，之后设置scrubber.state = WAIT_LAST_UPDATE

          |__对于last_update_applied >= scrubber.subset_last_update，则设置scrubber.state = BUILD_MAP

          |__PG::build_scrub_map_chunk()

               |__PGBackend::objects_list_range()

               |__PGBackend::be_scan_list()

                    |__读取对象的大小信息

                    |__读取对象的属性信息

                    |__对于需要deep scrub的则读取对象本身以及对象属性本身，之后计算对应的digest值

               |__PG::_scan_rollback_obs()

               |__PG::_scan_snaps()

               |__设置scrubber.state = WAIT_REPLICAS

               |__等待所有replicas都返回scrub信息后，设置scrubber.state = COMPARE_MAPS

               |__PG::scrub_compare_maps()

                    |__PGBackend::be_compare_scrubmaps()

                    |__PG::_scrub()

               |__设置scrubber.state = WAIT_DIGEST_UPDATE

               |__对于所有待scrub的PG都完成scrub操作后，设置scrubber.state = FINISH

               |__PG::scrub_finish()

                    |__ReplicatedPG::_scrub_finish()

 

Replicas接收到MOSDRepScrub消息后的处理流程

ReplicatePG::do_request()

|__PG::replicas_scrub()

     |__PG::build_scrub_map_chunk()

     |__创建MOSDSubOp消息对象且设置消息的op = CEPH_OSD_OP_SCRUB_MAP

     |__OSD::send_message_osd_cluster()

 

Primary接收到MOSDSubOp消息后的处理流程

ReplicatedPG::do_sub_op()

|__PG::sub_op_scrub_map()

     |__将收到的replicas的scrubmap写入到scrubber.received_maps中

     |__对于所有replicas都返回scrubmap，则调用PG::requeue_scrub()函数重新进入scrub操作

转载于:https://my.oschina.net/linuxhunter/blog/681050