golang实现的布隆过滤器_Golang中的布隆过滤器

最新推荐文章于 2022-10-19 20:48:53 发布
最新推荐文章于 2022-10-19 20:48:53 发布
阅读量116 收藏
点赞数
文章标签： golang实现的布隆过滤器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39781783/article/details/114171757
版权

目录

1. 布隆过滤器的概念

布隆过滤器(Bloom Filter) 是由 Howard Bloom在1970年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员，即判定 “可能已存在和绝对不存在” 两种情况。如果检测结果为是，该元素不一定在集合中；但如果检测结果为否，该元素一定不在集合中,因此Bloom filter具有100%的召回率。

2. 布隆过滤器应用场景垃圾邮件过滤

防止缓存击穿

比特币交易查询

爬虫的URL过滤

IP黑名单

查询加速【比如基于KV结构的数据】

集合元素重复的判断

3. 布隆过滤器工作原理

布隆过滤器的核心是一个超大的位数组和几个哈希函数。假设位数组的长度为m,哈希函数的个数为k。

下图表示有三个hash函数，比如一个集合中有x，y，z三个元素，分别用三个hash函数映射到二进制序列的某些位上，假设我们判断w是否在集合中，同样用三个hash函数来映射，结果发现取得的结果不全为1，则表示w不在集合里面。

wAAACwAAAAAAQABAEACAkQBADs=

工作流程:第一步：开辟空间：

开辟一个长度为m的位数组(或者称二进制向量)，这个不同的语言有不同的实现方式，甚至你可以用文件来实现。

第二步：寻找hash函数

获取几个hash函数，前辈们已经发明了很多运行良好的hash

最低0.47元/天 解锁文章
weixin_39781783
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
golang实现的布隆过滤器_布隆过滤器(Bloom Filter)原理及Golang实现
weixin_39998903的博客
02-01 623
布隆过滤器简介布隆过滤器(Bloom Filter)是一个基于hash的概率性的数据结构，它实际上是一个很长的二进制向量，可以检查一个元素可能存在集合中，和一定不存在集合中。它的优点是空间效率高，但是有一定false positive(元素不在集合中，但是布隆过滤器显示在集合中)。布隆过滤器原理布隆过滤器就是一个长度为m个bit的bit数组，初始的时候每个bit都是0，另外还有k个hash函数。布...
golang实现的redis布隆过滤器_使用redis创建布隆过滤器
weixin_36246992的博客
01-06 572
布隆过滤器是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。但是布隆过滤器可以控制错误率。具体的布隆过滤器相关的内容可查找相关资料，非常详细，其优势就是占用内存比hash表要小得多，非常适合用于做过滤的场景Guava中的布隆过滤器Guava是google开发的java基础...
布隆过滤器(Bloom Filter)原理以及Go语言实现
haming123的专栏
05-09 1067
布隆过滤器介绍 判断目标值是否在一个集合中是比较常见的业务场景。在Go语言中通常使用map来实现给功能。但是当集合比较大时，使用map会消耗大量的内存。 这种情况下可使用BitMap来代替map。BitMap虽然能够在一定情况下减少的内存的消耗，但是BitMap也存在以下局限性： 当样本分布极度不均匀的时候，BitMap会造成很大空间上的浪费。 若数据的类型Int64，并且数据分布的跨度比较大，则也无法满足对内存的要求。 当元素不是整型的时候，BitMap就不适用了。 BitMap只能保存整形数据，对于字
golang实现的redis布隆过滤器_白话布隆过滤器
weixin_42515376的博客
01-04 331
日常开发中，一个常见需求是判断一个元素是否在一个集合中。比如当你在浏览器中输入一个网址的时候，浏览器会判断网址是否在黑名单里。通常的解决方案是直接查询数据库，看看是否存在相关的记录，不过这往往会比较慢，于是我们又会引入缓存来提升速度，可是当数据比较多的时候，缓存会消耗大量的内存。有没有既速度快又节省内存的解决方案呢？本文介绍一种算法：布隆过滤器(Bloom filter[1])。所谓布隆...
布隆过滤器原理与golang实现
王安的博客
10-19 692
维基百科布隆过滤器实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中当一个元素被加入集合时，通过 K 个散列函数将这个元素映射成一个位数组中的 K 个点位（offset），把它们置为 1。判断是否存在时，只要看这些点是不是都是 1。如果这些点有任何一个 0，则被检元素不在；如果都是 1，则被检元素很在。这就是布隆过滤器的基本思想。//todo。
Go-一个简单的golang布隆过滤器
08-14
一个简单的golang布隆过滤器
去实现Bloom过滤器的软件包-Golang开发
05-26
布隆过滤器布隆过滤器是一组n个项目的表示，主要要求是进行成员资格查询。 也就是说，一个项目是否是集合的成员。 布隆过滤器具有两个参数：m，最大siz布隆过滤器布隆过滤器表示n个项的集合，其主要要求是进行成员...
布谷鸟过滤器：比布卢姆好得多-Golang开发
05-26
布隆过滤器是众所周知的节省空间的数据结构，可用于诸如“项目x是否在集合中？”之类的查询，但它们却不是。 布隆过滤器是众所周知的节省空间的数据结构，可用于诸如“项目x是否在集合中？”之类的查询，但它们不...
cuckoofilter：Go中的Cuckoo过滤器的实现
02-05
布谷鸟过滤器这是称为杜鹃过滤器的数据结构的实现。 Bin Fan，David G.Andersen，Michael Kaminsky和Michael D.Mitzenmacher在一篇名为“比布卢姆的论文中描述了数据结构。 像布隆过滤器一样，杜鹃过滤器是概率数据...
algorithm_coding:推荐算法、相似度算法、布隆过滤器、均值算法、一致性Hash、数据结构、leetcode练习
05-29
bloom_filter_code [布隆过滤器] 1: bloom 布隆过滤器 consistent_hash_code [一致性Hash算法] 1: consistent 一致性Hash算法 leet_code [leet_code刷题] 1: leet_code刷题 heap [堆] 1: max_heap_test 大顶推 ...
Go-Cuckoofilter:在Go中计数bloomfilter的一个更好替换
08-14
Cuckoo filter: 在Go中计数bloom filter的一个更好替换
Go-bloom-Bloomfilters在Go中的实现
08-14
bloom - Bloom filters在Go中的实现
bloom-filter-redis：go（​​golang）具有Redis后端支持的Bloom过滤器。 内存中的高性能
02-14
Bloom-filter-redis 安装 您可以通过go get获取图书馆 go get -u github.com/lichao-mobanche/bloom-filter-redis 用法 Bloom过滤器，支持mem缓存和redis背景，如果需要其他存储背景，请实现存储接口。 package main import ( "fmt" "github.com/go-redis/redis/v7" "github.com/lichao-mobanche/bloom-filter-redis/bloom" "os" ) var client *redis.Client = redis.NewClient(&redis.Options{ Addr: "localhost:6379", Password: "", // no password set DB:
golang 布隆过滤器实现源码分析
wwhhff11
03-24 1554
golang 布隆过滤器 “github.com/willf/bloom” 源码分析 结构体定义，m和k，通过README可以知道， m是数组集合大小，而k是hash函数个数 // member of a set. type BloomFilter struct { m uint k uint b *bitset.BitSet } // New creates a new...
golang bloomfilter踩过的坑（https://github.com/mmczoo/dgobloom）
wwwjyl_jarbinn的博客
10-27 2858
2016-10-27 golang bloomfilter踩过的坑（https://github.com/mmczoo/dgobloom） 几周前应该工作的需要，使用开源的bloomfilter（避免重复造轮子，自己也懒....），起初谢了简单测试，发现没有问题， 就开始正式使用了，几天前无意中发现久远数据新出现，于是就产生了各种怀疑......自己程序问题？多个程序
json-filter 一个golang的json字段过滤器，随心所欲的构造自己的json数据结构，随意复用结构体的开源项目。
weixin_45405207的博客
03-08 1480
有时候你可能会遇到这种情况：一个结构体想要在不同的接口下返回不同的json数据字段。 举个例子： 一个模拟用户的model，真实环境中的字段会要比这个多得多。 type User struct { UID uint `json:"uid"` Avatar string `json:"avatar"` Nickname string `json:"nickname"` Sex int `json:"sex"` VipEndTime time.Ti
golang 真正的高并发用法 查找素数
soekchl521的博客
05-26 2303
在原作者的代码上 附上了一些注释方便看懂 package main import ( "fmt" ) func main() { sieve() } func generate(ch chan<- int) { for i := 2; ; i++ { ch <- i // Send 'i' to channel 'ch'. } } func filter(src <-c
Golang web filter 轻量级实现
weixin_34081595的博客
08-02 773
前言 golang web 通过http handle模块进行restful接口与请求处理绑定；既然用了restful每个公司或项目都会制定自己的设计原则和约束条件。在日常开发中通常会根据uri匹配规则在请求进入controller之前进行一些特殊处理（权限、功能验证...）；在Java web编程中 servlet filter帮助我们实现了这样的功能，golang web通过扩展http ha...
golang实现位图(BitSet)
kdpujie的专栏
02-22 4477
一, 概念      Bitmap (位图)是一个十分有用的数据结构。所谓的 Bit-map 就是用一个 bit 位来标记某个元素对应的 Value，而 Key 即是该元素。由于采用了 Bit 为单位来存储数据，因此在内存占用方面，可以大大节省。（《编程珠玑》第一章引入的问题，提到了 Bitmap） 二, 实现基本原理      类似于java的BitSet, 是位操作的对象
请用golang实现布隆过滤器
最新发布
03-02
好的，以下是用Golang实现布隆过滤器的示例代码： ```go package main import ( "bufio" "fmt" "hash/fnv" "os" ) type BloomFilter struct { bitset []bool k uint64 } func NewBloomFilter(m uint64, k ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值