php bloomfilter,【Bloom filter】Python实现Bloom filter

本文介绍了如何使用Python的pybloomfilter模块实现BloomFilter,重点讲解了如何通过mmap优化内存使用,以及如何设置合适的错误率。通过BloomFilter类的方法演示了添加、查询操作,并提到了BloomFilter在减少内存消耗的同时可能带来的精度损失。
摘要由CSDN通过智能技术生成

hash table具有查找高速的特点,bloom filter在此基础上,解决了内存耗大的问题,代价就是不考虑100%的准确率,存在一定的错误率(可以接受程度)

3、Python实现以及使用

代码实现网上有很多,有时间可以研究一下

使用:我下载了github上的模块,使用mmap速度更快,安装步骤见另一篇博客

https://github.com/axiak/pybloomfiltermmap

from pybloomfilter import BloomFilter

bf = BloomFilter(10000000, 0.01, 'filter.bloom')

bf.add('apple')

print("1apple" in bf)

file_name="/tmp/filter.bloom"

if os.path.exists(file_name) is None:

bf = BloomFilter(10000000, 0.01,file_name)

else:

bf = BloomFilter.open(file_name)

通俗点儿来讲:

1、该句引入模块

from pybloomfilter import BloomFilter

常用的函数有:

class pybloomfilter.BloomFilter(capacity : int, error_rate : float, filename : string)

static BloomFilter.open(filename)

BloomFilter.add(item) → Boolean

BloomFilter.clear_all()

BloomFilter.copy(filename) → BloomFilter

BloomFilter.update(iterable)

BloomFilter.__len__(item) → Integer

BloomFilter.__in__(item) → Boolean

3、使用上述函数创建一个test代码

http://axiak.github.io/pybloomfiltermmap/ref.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值