Tair LDB基于Prefixkey的范围查找性能优化项目之如何使用prefix bloomfilter进行过滤

项目是按照“Tair LDB基于Prefixkey的范围查找性能优化项目提议方案”的步骤一步步完成的,目前已经解决了前面两个问题:

今天来继续解决最后一个关键问题。在提案中有以下描述:

  1. 在get_range接口中,如果查找到了sstable这里(先查memtable和immutable memtable,两者没有磁盘IO操作),

(1)首先根据[pkey+skey,pkey+end]的范围查找可能的sstfiles。

(2)对于每一个file,对dataindex block里的信息继续进行范围查找,找到可能包含[pkey+skey,pkey+end]这个范围的blocks。

(3)在读每一个block之前,获取filter block中存储的filter,通过prefix的MayMatch方法判断该block是否包含前缀pkey,如果不包含,则直接跳过这个block,这样就通过prefix bloomfilter实现了block过滤,从而减少了不必要的磁盘IO操作。

从编码角度讲,这里有很多待解决的关键问题,下面列举几个:

如何正确定位“读每一个block之前”?
如何获取filter block中事先存储的prefix bloomfilter?
如何正确使用prefix bloomfilter?
……

首先解决的是第一个问题:get_range的过程中什么时候开始读block,我们要在读之前进行拦截,加上bloomfilter过滤代码。

由于get_range中key的查找遍历在存储层面上统一通过Iterator的方式处理。其查找过程为:memtable Iterator —> sstable Iterator —> block Iterator。我们需要在block Iterator之前使用prefix bloomfilter以实现block过滤。block Iterator的具体调用在sstable Iterator最后,由two_level_iterator.cc的Seek()函数实现,如下:

void TwoLevelIterator::Seek(const Slice& target) {
    
    index_iter_.Seek(target);                                                   
    InitDataBlock(target);
    if (data_iter_.iter() != NULL) {
    
        data_iter_.Seek(target);
    }
    SkipEmptyDataBlocksForward();
}

具体流程为:
a) index_iter_.Seek(),得到index_iter_.Value(),即key所在data的index信息data_block_handle_。
b) InitDataBlock(),根据index_block_handle_,调用hook函数,获得对应data的data_iter_。
c) data_iter_->Seek(),定位到要找的key。
d) SkipEmptyDataBlocksForward(),如果获得的data_iter是无效的,那么需要不断尝试下一个data并定位到其最开始(已经满足Seek条件),直到找到合法的data。

一开始我的想法是:block Iterator的获得在b步骤中,我们需要在其获得之前使用prefix bloomfilter过滤一下,因此我在a和b步骤之间添加了下面过滤语句:

if (index_iter_.Valid()) {
    
    Slice handle_value = index_iter_.value();
    const char* key_data = target.data();
    const char *ptr = strchr(key_data + LDB_KEY_META_SIZE + 2, 0);
    int prefix_size = ptr + 1 -  key_data;
    
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值