golang实现的redis布隆过滤器_布隆过滤器的原理与实现

使用场景

判断一个元素是否在一个集合中。

• 单词处理软件中，需要检查一个英语单词是否拼写正确(判断拼写的单词是否在单词库中)。
• 网页黑名单系统。
• 垃圾邮件过滤系统。
• 爬虫的网址判重系统。
• 解决缓存穿透问题。

原理

利用内存中的一个长度是m的位数组B，对其中所有的位置都置0。

然后对每个遍历过的对象根据k个不同的散列函数执行散列，每次散列的结果都是不大于m的一个整数a。根据散列得到的数在位数组B对应的位上置1，也就是让B[a] = 1。

每次插入一个对象，执行k次散列，只有当全部位都置1了才认为这个对象已经遍历过。

需要注意的是，布隆过滤器如果返回不包含某个对象，那肯定是没在集合中增加过这个对象；如果返回包含某个项目，但其实可能没有增加过这个人对象，所以有误判的可能。

存储的对象和位数比率估计布隆过滤器的误判率如图：

为每个对象分配两个字节就可以达到千分之几的冲突。例如一个比较保守的实现，在爬虫网址判重模块，为每个URL分配4个字节，项目和位数之比是1:32，误判率是0.00000021167340，对于5000万量级的URL，布隆过滤器只占用200M的空间，并且重排速度极快，一遍下来不到两分钟。

代码实现

优缺点

• 优点：空间占用小，速度快。
• 缺点：存在一定的误判率，不支持删除。