mysql布隆过滤器源码_自定义实现的布隆过滤器

java

自定义实现的布隆过滤器

布隆过滤器是一种检索一个元素是否在一个集合中的算法，它的优势是空间效率和查询时间都比通常的算法要好的多，缺点是有必定的误识别率。git

它能准确判断一个元素不在集合中，大几率判断一个元素在集合中。github

基本原理

布隆过滤器数据结构

布隆过滤器是一个 bit 向量或者说 bit 数组，长这样：redis

若是咱们要映射一个值到布隆过滤器中，咱们须要使用多个不一样的哈希函数生成多个哈希值，并对每一个生成的哈希值指向的 bit 位置 1，例如针对值 “baidu” 和三个不一样的哈希函数分别生成了哈希值 0、三、6，则上图转变为：

算法

Ok，咱们如今再存一个值 “tencent”，若是哈希函数返回 二、三、7 的话，图继续变为：数组

值得注意的是，3 这个 bit 位因为两个值的哈希函数都返回了这个 bit 位，所以它被覆盖了。如今咱们若是想查询 “dianping” 这个值是否存在，哈希函数返回了 0、四、7三个值，结果咱们发现 4 这个 bit 位上的值为 0，说明没有任何一个值映射到这个 bit 位上，所以咱们能够很肯定地说 “dianping” 这个值不存在。而当咱们须要查询 “baidu” 这个值是否存在的话，那么哈希函数必然会返回 一、四、7，而后咱们检查发现这三个 bit 位上的值均为 1，那么咱们能够说 “baidu” 存在了么？答案是不能够，只能是 “baidu” 这个值可能存在。数据结构

这是为何呢？答案跟简单，由于随着增长的值愈来愈多，被置为 1 的 bit 位也会愈来愈多，这样某个值 “taobao” 即便没有被存储过，可是万一哈希函数返回的三个 bit 位都被其余值置位了 1 ，那么程序仍是会判断 “taobao” 这个值存在。分布式

基本原理baidu来的，这个感受最易懂

实现bloomFilter

基于Guava的hash算法实现bloomFilter函数

local：初始化的时候选择是基于本地的仍是分布式的，默认true。

putConsumer：local为false的时候须要初始化的时候实现，好比基于redis的bitmap实现bit数组，命令：(SETBIT key offset value)。local为true时默认初始化bitSet属性，并经过bitSet实现bit数组。

containPredicate：local为false的时候须要初始化的时候实现，好比基于redis的bitmap实现bit数组。local为true时默认初始化bitSet属性，并经过bitSet实现bit数组，命令：(GETBIT key offset)。local为true时默认会从bitSet获取。

builder模式建立bloomFilter

测试