布隆过滤器解释
1970年由布隆提出的布隆过滤器是一个随机映射函数,可用于快速检验一个元素是否在一个集合中。布隆过滤器的空间效率和查询速度远高于一般的查询算法(布隆过滤器的实现基于散列算法),因此它在内容查询上具有很大的优势。高速度查询的同时也带来一定的缺点,它存在一定的识别率和错误率(非常低)。可以说,布隆过滤器用错误率来换取时间和空间。
安装
我们需要一个叫作pybloom_live的库。在使用这个库的时候,它可能会提示我们下载庞大的VC运行库,提示如下。
但我们完全可以不用下载这个庞大的运行库,pybloom_live中会出现这个问题是因为缺少一个叫作bitarray(这个库基于CV++14)的库,去此https://www.lfd.uci.edu/~gohlke/pythonlibs/#bitarray 下载对应版本的whl文件。
pip install bitarray-1.5.2-cp37-cp37m-win_amd64.whl
然后
pip install pybloom_live
就ok了!