简析ceph DBObjectMap查找key的流程

最新推荐文章于 2022-08-31 08:00:58 发布

sefaxiaoji

最新推荐文章于 2022-08-31 08:00:58 发布

阅读量879

点赞数 1

分类专栏： ceph 文章标签： ceph DBObjectMap leveldb

本文链接：https://blog.csdn.net/sefaxiaoji/article/details/89715928

版权

ceph 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

文章目录

1. 分析场景举例

分析osd启动过程中加载pg时去leveldb查找pg所对应的版本号整个db操作流程

2. 过程分析

2.1 peek_map_epoch接口分析

该接口很简单主要调用store->omap_get_values去加载pg的_epoch以及_info信息；这里补充一下，osd为了兼容不同store支持，把读写，attr操作以及omap操作进行了抽象即抽象出了objectstore层，这里也体现了面向接口编程的思想。omap主要接口有：

omap_get_values
omap_get_keys
omap_get_header
omap_get
get_omap_iterator
_omap_rmkeys
_omap_rmkeyrange
_omap_setheader
_omap_setkeys
_omap_clear

对于filestore，omap_get_values最终调用DBOjectMap的get_values接口；DBObjectMap是FileStore的一部分，封装了对KeyValue数据库操作一系列的API；接下来看下 DBObjectMap::get_values过程

2.2 DBObjectMap::get_values流程分析

在这里插入图片描述

DBObjectMap db采用的是leveldb，因此db空间的迭代器如下图所示：
在这里插入图片描述

leveldb抽象出一个Iterator基类
重现给用户的iterator是一个MergingIterator，它是由mem_、imm_、level0、level1~n对应的迭代器组成的
mem_与imm_是内存操作，采用的是跳表数据结构实现的，因此迭代器是基于跳表实现的
level0层的sst文件因为key有可能重复，因此level0每个sst文件对应一个TwoLevelIterator迭代器
level1~leveln由于每层sst文件key范围不会重复，并且有序的，因此使用一个迭代器NewConcatenatingIterator即可完成整个level的迭代
TwoLevelIterator采用的两个iterator实现的，可以简单的认为一个用于索引的iter另一个用于查找真正data的iter；比如针对sst文件的key查询，首先通过key的索引iter到data数据块，然后iter数据块得到key的值
Block::Iter是针对sst的index block以及data block的迭代器

DBObjectMap关联的迭代器：
在这里插入图片描述

IteratorImpl作为DBObjectMapIteratorImpl与具体db的迭代器沟通的桥梁即抽象层
LevelDBWholeSpaceIteratorImpl对db的接口进行了封装

在这里插入图片描述
结合以上过程，可以得出：到leveldb层最终调用MergingIterator的seek接口

2.3 leveldb MergingIterator seek过程

  virtual void Seek(const Slice& target) {
    for (int i = 0; i < n_; i++) {
      children_[i].Seek(target);
    }
    FindSmallest();
    direction_ = kForward;
  }

该Seek的逻辑主要包括：