hash table具有查找高速的特点,bloom filter在此基础上,解决了内存耗大的问题,代价就是不考虑100%的准确率,存在一定的错误率(可以接受程度)
3、Python实现以及使用
代码实现网上有很多,有时间可以研究一下
使用:我下载了github上的模块,使用mmap速度更快,安装步骤见另一篇博客
https://github.com/axiak/pybloomfiltermmap
from pybloomfilter import BloomFilter
bf = BloomFilter(10000000, 0.01, 'filter.bloom')
bf.add('apple')
print("1apple" in bf)
file_name="/tmp/filter.bloom"
if os.path.exists(file_name) is None:
bf = BloomFilter(10000000, 0.01,file_name)
else:
bf = BloomFilter.open(file_name)
通俗点儿来讲:
1、该句引入模块
from pybloomfilter import BloomFilter
常用的函数有:
class pybloomfilter.BloomFilter(capacity : int, error_rate : float, filename : string)
static BloomFilter.open(filename)
BloomFilter.add(item) → Boolean
BloomFilter.clear_all()
BloomFilter.copy(filename) → BloomFilter
BloomFilter.update(iterable)
BloomFilter.__len__(item) → Integer
BloomFilter.__in__(item) → Boolean
3、使用上述函数创建一个test代码
http://axiak.github.io/pybloomfiltermmap/ref.html