Python 操作 mongodb 亿级数据量使用 Bloomfilter 高效率判断唯一性 例子

工作需要使用 python 处理 mongodb 数据库两亿数据量去重复，需要在大数据量下快速判断数据是否存在

参考资料:https://segmentfault.com/q/1010000000613729

网上了解到 Bloom Filter ，Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员。

关于 Bloom Filter 的详细介绍请参考：百度百科

使用Python可直接安装 Pybloom 包，这里已经实现了 Bloom Filter。

安装 Pybloom 包过程曲折，报错及解决办法在此：windows下python3.7安装pybloom报错解决办法

包安装成功后就可以愉快的使用了

使用例子如下：

from pybloom import BloomFilter

bf = BloomFilter(capacity=10000, error_rate=0.001)

bf.add("www.baidu.com")

print("www.baidu.com" in bf)   # True

print("www.douban.com" in bf)  # False
<