比 Bloom Filter 节省25%空间！Ribbon Filter 在 Lindorm 中的应用

阿里云云栖号

于 2022-07-20 14:13:28 发布

阅读量792

点赞数

文章标签：人工智能 ribbon 云计算

本文链接：https://blog.csdn.net/yunqiinsight/article/details/125891222

版权

1 前言

Lindorm是一个低成本高吞吐的多模数据库，目前，Lindorm是阿里内部数据体量最大，覆盖业务最广的数据库产品。超高的性能和低RT一直是Lindorm追求的目标，因此Lindorm也在不断地优化和迭代，争取在每个小点上都做到极致。这次，我们的优化的目标放到了Lindorm中的Bloom Filter上。

由于Bloom Filter只需要占用极小的空间，便可以给出”可能存在“和”肯定不存在“的存在性判断，因此可以提前过滤掉许多不必要的数据块，从而节省了大量的磁盘IO。在Lindorm中Get操作就是通过运用低成本高效率的Bloom Filter来过滤掉大量无效的数据块的，从而大幅度降低磁盘IO次数。

Bloom Filter存储在了Lindorm的底层文件LDFile中。在长期的生产观察中，我们发现，Bloom Filter的空间占用远大于其他meta数据。在默认配置的错误率下，基本上100MB数据（压缩后），就会产生1MB以上的BloomFilter，也就是BloomFilter会占掉1%的存储空间。对于磁盘存储空间来说，1%的消耗并不多，但是，由于BloomFilter做为Lindorm读链路上的关键链路，通常需要缓存在内存中才能获得更好地性能。内存资源对Lindorm来说是非常宝贵的资源，对于单机管理上TB数据的Lindorm节点来说，通常只有几GB到几十GB的内存来做缓存。按照通常的规律，上TB的数据会产生几十GB的Bloom Filter，这些Bloom Filter会把缓存占满，导致数据无法进入缓存，会严重影响用户请求的内存命中率。因此，优化Bloom Filter的大小，意味着可以减少内存占用，让缓存能够加载更多用户数据，从而优化Lindorm的读性能。

为了优化BloomFilter, Lindorm也做了不少尝试，比如引入SuRF，但我们发现，在空间占用率上，SuRF并不比BloomFilter有优势。因此，我们把目光转向了2021年的一篇论文《Ribbon filter: practically smaller than Bloom and Xor》。这篇论文提出了一种新的Ribbon Filter，据论文的结论，Ribbon Filter相对Bloom Filter可以节省30%的空间。这个对我们来说是一个非常诱人的结论，节省30%空间意味着可以释放30%的缓存空间，读请求的内存命中率会有很大一部分提升。

Ribbon Filter真的有论文中说的那么神奇吗？带来空间节省的同时，会带来副作用吗？本文将这一全新的Ribbon Filter给大家做一个介绍，然后我们把Ribbon Filter引入了Lindorm中，并测试了Ribbon Filter在实际生产中的真实表现。

2 基本原理

2.1 Bloom Filter

Bloom Filter是Bloom在1970年提出的一种概率数据结构[1]，用来快速测试元素是否是集合的成员，存在一定的假阳性率（一般设置为0.01），不可能有假阴性率，即查询返回“可能存在”或者“一定不存在”。可以添加元素到集合中，但不能删除（有改进版本可以实现），添加的元素越多，假阳性率越大。对于给定的假阳性率e和元素数量n，Bloom Filter有一个最佳的空间大小，使得添加元素过程中，保证逐渐变大的假阳性率小于等于e。

Bloom Filter由一个长度为n的01数组array组成。首先会将array数组每个元素初始化设为0，对于集合A中的每个元素w，做k次哈希，每次哈希值都会对n取模得到一个索引，比如第i次哈希，索引

，将array数组中的对应位置置为1，最终array变成了一个部分元素为1的数组。对于待检测元素w同样会做k次哈希得到k个索引，如果数组中对应位置都为1则元素w可能存在集合A中，否者一定不存在。

2.2 Xor Filter

Ribbon Filter是基于Xor Filter做的，在介绍Ribbon Filter之前，得先了解Xor Filter。Xor Filter是Thomas Mueller Graf和Daniel Lemire在2020年提出的[2]，也是用来检测一个元素是不是集合中的一个成员，相比Bloom Filter，Xor Filter核心差异主要是如下：

Xor Filter有固定的三个哈希函数，而Bloom Filter哈希函数由假阳性率确定；
Xor Filter采用XOR方式按slot匹配，Bloom Filter使用AND方式进行按位匹配；
Xor Filter由一个二维bit数组组成，Bloom Filter是一个一维bit数组；
Xor Filter相比Bloom Filter最高能节省20%的空间。

输入的元素经过多个哈希函数生成的哈希值不会像Bloom Filter一样映射到一个bit位，而是映射到一个固定长度的slot，一个slot有多个bit位，且每个slot的bit位数相同。对于待检测元素w，会经过k个哈希函数生成k个哈希值分别映射到对应slot上，然后对所有的k个slot中的元素进行异或运算得到结果r，元素w还会经过另外一个独立的哈希函数生成指纹fingerprint(w)，和r作对比，如果相同则元素w可能存在集合A中，否者一定不存在。