布隆过滤器
本质:一个空的2进制数组(初始全为0,只存0和1)
插入
一个key,经过k个hash函数运算后,得到k个值,将2进制数组对应下标的位置置为1。
查询
将key同样进行k个hash,去2进制数组比对对应下标位置的值
- 全为1则可能存在该key;
- 不全为1,则一定不存在该key
删除
不能删
应用
- 大集合中检查元素是否重复
- Redis中防止缓存穿透
缓存穿透:key对应的数据在数据源并不存在,每次针对此key的请求从缓存获取不到,请求都会到数据源,从而可能压垮数据源。
解决办法:将数据源的key是否存在的信息存储到布隆过滤器中,如果布隆过滤器判定数据不存在,则不再请求数据源。
布谷鸟过滤器
基本的布谷鸟过滤器由两个并不独立的哈希函数构成。
基本单位为条目,每个条目存储一个指纹。
指纹指的是使用一个哈希函数生成的n位比特位,n的具体大小由所能接受的误判率来设置。一般n=8
布谷鸟哈希表由一个桶数组构成,每个桶可以有多个条目,即每个桶中有多个存放指纹的位置。
插入
先进行一次hash,得出应当插入位置和应当插入的值(指纹)。
如果这个桶(桶内的m个位置均被占用)插入失败,会重新计算(指纹哈希与第一个索引异或),查看第二个桶能否插入。
若第二个桶插入失败,则会随机在两个桶中挑选一个桶,将其中的一个值标记为旧值,用新值覆盖旧值,旧值会在重复上面的步骤进行插入。
扩容
如果数组过小,会发生循环挤兑的情况。
如果超过最大挤兑次数,进行扩容,重新计算每个指纹的位置。
删除
- 通过两次hash找到索引位置,如果任何桶中的指纹匹配,则从该桶中删除匹配指纹的一份副本。
- 如果俩数据的哈希值和指纹相同时,会出现误删除情况。
更新
删除后再添加新指纹。
优点
- 支持删除
- 在误判率小于3%时,空间性能优于布隆过滤器
- 查询效率高
缺点
- 插入性能差
- 插入重复元素存在上限(哈希函数个数*桶容量)
- 空间大小要求是2的指数
- 删除有问题,存在误删的概率
表格一览
布隆过滤器 | 布谷鸟过滤器 | |
---|---|---|
插入 | k个hash函数 | 2个hash函数 |
删除 | 不能删 | 可以删 |
更新 | 不能更新 | 删除后再添加 |
查询 | 有误判率 | 有误判率 |
优点 | 安全、节省空间 | 查询效率高、支持删除、更节省空间 |
缺点 | 有误判率、无法删除 | 插入性能差、插入重复元素有上限、空间大小为2的指数、删除不完美 |