《数学之美》第23章 布隆过滤器

最新推荐文章于 2021-05-09 16:05:08 发布
最新推荐文章于 2021-05-09 16:05:08 发布
阅读量445 收藏
点赞数
文章标签： 数学之美 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangsiji_buaa/article/details/80280112
版权

1 布隆过滤器的原理

    一般来讲，计算机中的集合是用散列表（Hash Table）来存储的，优点是速度准确，缺点是耗费存储空间。

    布隆过滤器是由伯顿布隆于1970年提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。

    布隆过滤器的好处在于快速、省空间，但是有一定的误识别率。常见的补救办法是再建立一个小的白名单，存储那些可能被误判的邮件地址。

2 布隆过滤器的误识别问题

剑九黄
关注
布隆过滤器与哈希
weixin_43512657的博客
06-30 1348
1.布隆过滤器 什么是布隆过滤器呢？它是一种类似哈希的数据结构，通过这个数据结构，可以快速的插入和查询，确定某个事件一定不存在或可能存在。特点是占用空间少，缺点是返回的结果是概率性，有一定误差，在方案选型时，需要注意这些特点。 2.布隆过滤器数据结构 布隆过滤器是一个bit向量或bit数组，如下图所示，bit的存储是耗内存，但是key的增加，反而不耗内存，因为不存储key。 当一个元素加入集合时，就通过K个hash函数将这个映射成一个位数组中的K个点，把它们置为1。当查询时，只要检查这些点是否全为1，就能
Bloom Filter (布隆过滤器) 介绍以及简单的Java实现
gotobar的专栏
01-01 1031
定义 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 从简单的定义可以看出，使用布隆过滤器目的是为了优化元素查找的性能，不过布隆过滤器提升的是得到这个元素（key）的存在性的性能。 ...
数学之美系列二十一 － 布隆过滤器（Bloom Filter）(转)
weixin_30414305的博客
08-01 102
原文地址：http://hi.baidu.com/yunlong%5Flee/blog/item/c3b6b600f8dc2717728b658a.html在 日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断它 是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址...
《数学之美》—— 布隆过滤器
zsyoung的博客
07-26 254
作者：吴军 第23章 布隆过滤器 存储效率 采用散列表，每存储一亿个Email地址，就需要1.6GB的内存，即16亿字节（B）的内存。 1B（byte，字节）= 8 bit（见下文）； （用散列表实现的具体办法是将每一个Email地址对应成一个8字节的信息指纹，然后将这些信息指纹存入散列表，由于散列表的存储效率一般只有50%，因此一个Email地址需要占用16个字节） 布隆过滤器...
《数学之美》第二十三章——布隆过滤器
XHHP
05-09 243
1 布隆过滤器的原理 首先，布隆过滤器的作用主要是可以用来检索一个元素是否在一个集合中。 书本上提到的例子是检验某个电子邮箱是否存储在黑名单中，这个黑名单就可以使用布隆过滤器来进行实现。基本原理如下图所示： 首先将存储地址的每个二进制位都归零。 F1，F2,…,F8是8个随机数生成器，这些生成器可以根据电子邮箱地址生成8个随机数f1,f2,…,f8。 之后再将这8个随机数f1,f2,…,f8通过8个不同的哈希函数映射到存储空间的某个位上，将这个位置置为1，就完成了存储操作。 当需要进行查询的时候，根据新
数学之美：布隆过滤器
u014514939的博客
08-05 303
算法题目 如果一个黑名单网站包含100亿个黑名单网页，每个网页最多占64B，设计一个系统，判断当前的URL是否在这个黑名单当中，要求额外空间不超过30GB，允许误差率为万分之一。 解题思路 布隆过滤器 基础介绍 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量(位图)和一系列随机映射函数（哈希函数）。 布隆过滤器可以用于检索一个元素是否在一个集合中...
【数学之美系列二十一】布隆过滤器（Bloom Filter）
丰盘文档管理软件
10-05 1070
2007年7月3日 上午 09:35:00 发表者：Google（谷歌）研究员 吴军 在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断 它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的 元素存在计算机
hbase之布隆过滤器
qq_38180223的博客
07-05 9653
一、布隆过滤器布隆过滤器（Bloom Filter）是1970由布隆提出的。通过一个很长的二进制向量于一系列随即哈希函数生成。下面我就将通过以下小节来介绍布隆过滤器：1、原因与结构解析2、数学公式1.1 原因与结构解析首先，我们应当知道，hash是内存中使用的经典数据结构。当我们需要判读一个元素是否在一个集合当中时，我们可以用哈希表来判断。在集合较小的情况下，hash是可行而且高效的。然而数据量以...
布隆过滤器区块链
05-21 317
布隆过滤器（Bloom Filter）是什么？ 布隆过滤器（Bloom Filter）是 1970 年由布隆提出的，它实际上是由一个很长的二进制向量和一系列随意映射函数组成。 它是一种基于概率的数据结构，主要用来判断某个元素是否在集合内，它具有运行速度快（时间效率），占用内存小的优点（空间效率），但是有一定的误识别率和删除困难的问题。它能够告诉你某个元素一定不在集合内或可能在集合内。 为什么说可能在集合内而无法确定一定在集合内呢？而一定不在集合内为什么又能则可以百分百确定呢？下面我们通过分析布隆过滤器的原理
数学之美读书笔记
yanaoyong的博客
11-15 3359
目录 简介 数学之美这本书挺有趣的，我看了有许多感想，我不想用以前那种死板的读书笔记格式，所以本次读书笔记我准备分为两部分第一部分是我在阅读时的随记有灵感或者有触动我的地方就写，第二部分是读完本书的总结包括自己学到了什么，这本书颠覆与构建了我的什么思想。 随记 第一章 第二面 第一次知道原来网络通信模型居然是随语言一起诞生的，他居然这么古老了，并且我由此想到我们文明中的多少的技术多少的方法能与我们...
数学之美系列二十一：布隆过滤器（Bloom Filter）
Ella.ting的专栏
07-14 778
布隆过滤器决不会漏掉任何一个在黑名单中的可疑地址。但是，它有一条不足之处。也就是它有极小的可能将一个不在黑名单中的电子邮件地址判定为在黑名单中，因为有可能某个好的邮件地址正巧对应个八个都被设置成一的二进制位。好在这种可能性很小，我们把它称为误识概率。 在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是
哈希函数+布隆过滤器+一致性哈希+哈希表
泡泡历险记
01-19 356
哈希函数+布隆过滤器+一致性哈希+哈希表 认识哈希函数和哈希表 设计RandomPool结构 认识布隆过滤器 认识一致性哈希 （from左神算法初级班第6节） 1.认识哈希函数和哈希表 1）什么是哈希函数？（非常重要） 定义：能通过哈希函数直接找到需要的记录，在记录的存储位置和它的关键字之间建立一个确定的对应关系f，使每个关键字和结构中一个唯一的存储位置相对应。 性质： 经典哈希函数的输入域...
漫画：什么是布隆过滤器
架构师进化论
05-19 644
​———— / 面试中/ ———— ...
跟左神一起练算法（布隆过滤器和一致性哈希）
weixin_43767691的博客
12-03 471
认识布隆过滤器 //布隆过滤器和一致性哈希 //布隆过滤器就是爬虫项目，和黑名单项目的常见结构 //查询某一个结构是否存在于某一个集合之中 落地结构： 大数组结构，每一个位置是一个比特位bite 布隆过滤器产生失误的原因： 假如现在有100亿个URL现在你只给了10个位，4个哈希函数，每次涂黑四个位，那么这10个位注定被越图越黑，等到查找的时候，你就会发现，查啥都是错的。 要是有10个URL...
[算法] - 哈希函数 + RandomPool + 布隆过滤器 + 一致性哈希原理 + 并查集结构
Snoopy_Dream
01-07 704
目录 哈希函数 哈希函数的作用：通过 f 哈希函数使得数据变均匀分布，离散化 哈希表的实现： 扩容： 笔试tricks： 在C++里面，不怎么用哈希表，而是使用int[1000]这样的数组，时间复杂度会低。 在刷题的过程中只要找到O（N*logN）就足够了，N不可能过大，不用找O（N）） 根据数据范围，来找时间复杂度大概多大就过分了。 C++里面1s可执行10^8~9操作。不能超...
布隆过滤器
qq_38248160的博客
02-14 132
今天的文章和大家一起来学习——布隆过滤器。《数学之美》一书中系列二十一讲述的就是布隆过滤器，在日常的开发中我们经常要判断一个元素是否在一个集合中，比如需要检查一个英语单词是否拼写正确（也就是要判断它是否在一致的字典中），哈希表在处理这类问题上会占用大量存储空间，而布隆过滤器在这方面有很强的优势。 我们经常会把一部分数据放在Redis等缓存，比如产品详情。这样有查询请求进来，我们可以根据产品Id直接去缓存中取数据，而不用读取数据库，这是提升性能最简单，最普遍，也是最有效的做法。一般的查询请求流程是这样的：先
数学之美 － 布隆过滤器（Bloom Filter）【转】
deform0032的博客
07-03 606
转自Google黑板报在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新元素时，将它和集合中的元素直接比较即可。一般来讲，计...
【布隆过滤器】实现一个简单的布隆过滤器
菜鸟成长记
08-06 1868
原理布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。Bloom Filter 是一种空间效率很高的随机数据结构，Bloom filter 可以看做是对 bit-map 的扩展, 它的原理是：当一个元素被
【干货】位图的实现与布隆过滤器
weixin_34337265的博客
05-13 83
位图是用一个btye位来表示一个数据是否存在，再通过哈希函数确定一个数据所在的位置，这样处理会使当仅需要判断一个数据在不在的时候大大的提高效率，缩小内存的使用，如一个数据为int型，而一个int型的数据构成的位图能表示32个数据的存在状态。代码实现如下：Bitmap.h:#include<vector> classBitMap { public: Bi...
C++实现布隆过滤器源码解析
资源摘要信息:"布隆过滤器是一种空间效率高的概率型数据结构，它用于判断一个元素是否在一个集合中。由Bloom在1970年提出，因此得名。布隆过滤器可以有任意的元素加入集合，但是检查某个元素是否存在集合的时候会有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值