python使用布隆过滤器筛选数据

布隆过滤器

它是一种独特的数据结构，用以判断：一个数据可能存在或一定不存在

算法思路：

1. 开一个指定长度的数组，将所有的元素值设为0
2. 添加元素时，执行hash，得到多个位置下标，将数组对应位置设置为1
3. 检查元素是否存在时，执行hash，得到多个位置下标，查看数组中对应下标的值：
   1> 如果值均为1，则可能存在
   2> 如果值有一个是0，则一定不存在

综上所述，布隆过滤器可以用来判断一定不存在的值，且效率较高，但是随着插入的数据不断增加，判断错误的概率也逐渐变大。有一个极端情况就是全部位置都为1，这个时候就什么都判断不出来了。

示例代码

主要使用pybloom_live

github项目主页：https://github.com/joseph-fox/python-bloomfilter

一般有两种使用方法：

1. 一种是固定容量限制的布隆过滤器，当加入的元素大于容量限制时会报错，这样会保证错误率小于给定的概率

   from pybloom_live import BloomFilter
   
   bf = BloomFilter(1000)  # 固定最大容量1000
   
   bf.add("a")
   
   print("a" in bf)  # True
   print("b" in bf)  # False
   

2. 另一种是可伸缩的过滤器，当加入的元素大于容量限制时不会报错，但会增加错误率

   from pybloom_live import ScalableBloomFilter
   
   scala_bf = ScalableBloomFilter(1000)
   
   scala_bf.add("a")
   
   print("a" in scala_bf)  # True
   print("b" in scala_bf)  # False
   

参考文章

python-布隆过滤器：https://www.cnblogs.com/yscl/p/12003359.html