Compressed Bloom Filter

最新推荐文章于 2022-12-04 11:57:48 发布
VIP文章 最新推荐文章于 2022-12-04 11:57:48 发布
阅读量9.9k 收藏 9
点赞数
分类专栏： Bloom Filter 文章标签： filter 数据结构 网络应用 算法 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiaomeng/article/details/1505299
版权

Compressed Bloom Filter

焦萌 2007年2月8日

 

在前面的讨论中，我们都只将Bloom Filter作为一种表示集合的数据结构。但在网络应用中，Bloom Filter经常被当作节点之间交换信息时传递的消息。从这个角度考虑，我们自然希望消息在传递之前能够被压缩。

 

那么Bloom Filter到底能不能被压缩？在Bloom Filter概念和原理一文中，我们知道当Bloom Filter的错误率最低时，位数组中任意一位是0的概率p = 1/2。也就是说，在错误率最低时位数组中0和1的概率各占一半。根据Claude Shannon 编码原理，位数组将不可能获得任何压缩的效果。

 

然而事实并不是这样，因为p = 1/2的结论是这样作出的：在已知位数组大小m和集合元素个数n的情况下，我们求出最优的哈希函数个数k

最低0.47元/天 解锁文章
jiaomeng
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
fastBloomFilter:一个纯净，简单，快速的python Bloom过滤器
03-16
简单快速的pythonic bloomfilter 摘自维基百科：“布隆过滤器是一种节省空间的概率数据结构，由伯顿·霍华德·布鲁姆（Burton Howard Bloom）在1970年提出，用于测试元素是否为集合的成员。可能会出现错误的正匹配，但不会出现错误的否定匹配–换句话说，查询返回“可能在集合中”或“绝对不在集合中”元素可以添加到集合中，但不能删除（尽管可以通过“计数”过滤器解决）；元素更多集合中添加的值，则误报的可能性就更大。” 该过滤器支持： - Saving, reloading, compressed bloomfilter file lrzip like: for compression: lz4>lzo>zlib>bz2>lzma for decompression: lzma>bz2>zlib>lzo>lz4 (T
Compressed例程
03-16
Compressed例程.rar 介绍了关于Compressed例程的详细说明，提供理论教程的技术资料的下载。
Compressed Bloom Filters-计算机科学
04-22
Compressed Bloom FiltersMichael Mitzenmacher ∗Harvard University 33 Oxford St.Cambridge, MA [email protected].eduABSTRACT A Bloom filter is a simple space-efficient randomized data structure for representing a set in order to support member- ship queries. Although Bloom filters allow false positives, for many applications the space savings outweigh this draw- back when the probability of an error is sufficiently low. We introduce compressed Bloom filters, which improve perfor- mance whe
Compressed-sensing压缩感知
12-09
压缩感知相关参数、重构的方法等代码，具体说明如下 Measurement matrixs ：存有多种测量矩阵的实现代码 Reconstruction algorithms ：存有多种重构算法的实现，包括最经典的 OMP、SAMP 等方法 Refactoring articles ：保存了 CS 中多种重构算法的解释文件 Some examples ：CS的实验案例 Sparse basis ：保存了典型稀疏基的实现代码 注意：此中代码多为 .m 文件，且每个路径中都有相关的txt文件说明各自所实现的内容！
提升大数据数据分析性能的方法及技术（二）
aizhan8384的博客
07-30 409
上部分链接 致谢：因为我的文章之前是在word中写的，贴过来很多用mathtype编辑的公式无法贴过来，之前也没有经验。 参考http://www.cnblogs.com/haore147/p/3629895.html，一文完成公式的迁移。 同时，说一句，word中用mathtype写的公式用ALT+\可以转换成对应的latex语法公式。 5 数据流过滤技术 　　信息大爆...
Compressed Bloom Filters论文总结
桐青冰蝶Kiyotaka的博客
12-04 386
Compressed Bloom Filters论文总结
Bloom Filter 系列改进之Compressed Bloom Filter
nudt北极星的专栏
11-15 1794
在bloom filter的错误率f最小时，也就是最优的
Compressed Bloom filters
10-09
Compressed Bloom filters
Bloom Filter的基本原理和变种
Stay hungry, Stay foolish
12-14 3257
学习一个东西首先要知道这个东西是什么，可以做什么，接着再了解这个东西有什么好处和优势，然后再学习他的工作原理。下面我们分别从这三点简单介绍一下bloom filter，以及和他的变种。 What：在允许一定的错误率的情况下，用于判断一个元素是否属于一个集合，Bloom Filter可能会将一个不属于集合的元素误判为属于这个集合，即false positive。可以应用于检查一个URL是否已经
周志华机器学习（西瓜书）学习笔记（持续更新）
yhdsss875的博客
11-04 8130
《周志华机器学习》笔记第1章 绪论1.1 引言1.2 基本术语1.3 假设空间1.4 归纳偏好1.5 发展历程1.6 应用现状第2章 模型评估与选择 第1章 绪论 1.1 引言 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。其所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。 本书中，“模型”泛指从数据中学得的结果，有的文献中用“模型”指全局性结果，二用“模式”指局部性结果。 1.2 基本术语 要进行机器
拉格朗日乘子法_拉格朗日乘子法（1）
weixin_39602108的博客
12-16 362
今天碰到一个问题， 这个函数，因为-log(x)凸函数的性质，我们可以知道是大于等于log（N）的。或者可以解释为相对熵plog(p/q)总是大于0的。其实这一点在信息论里面也有解释，假设信源的概率是1/N，如果你用了-log(Pi)对信源信息进行编码，总是要多花费一些字节。按照实际的信息进行编码，总是最省的，而且等于熵的大小。相对熵其实就是多出来的部分。可以利用拉格朗日乘子法对这个函数的最小值...
似然函数与最大似然估计、交叉熵概念与机器学习中的交叉熵函数
记忆碎片的博客
12-22 3639
文章目录似然函数与最大似然估计似然的概念似然函数最大似然估计伯努利分布伯努利分布下的最大似然估计高斯分布高斯分布下的最大似然估计信息量、熵、相对熵、交叉熵、机器学习中的交叉熵信息量熵相对熵（KL散度） 似然函数与最大似然估计 似然的概念 “似然”用通俗的话来说就是可能性，极大似然就是最大的可能性。 似然函数 似然函数是关于统计模型中的一组概率的函数(这些概率的真实值我们并不知道)，似然函数的因变量...
Bloom Filter 系列改进之Split Bloom Filter
nudt北极星的专栏
11-15 1565
简单的Bloom Filter中，如果
海量数据处理算法—Bloom Filter
云计算?
08-14 1169
1. Bloom-Filter算法简介 Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。 Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。Bloom Fil...
Bloom Filter 系列改进之Bloom Tree
nudt北极星的专栏
11-15 1994
bloom tree的设计:     如果对bloom filter不是很了解，请参看我之前写过的blog。     bloom tree 是一个d叉完全树,存储的是一个个(key,value)键值对，bloom tree支持近似的表格查询，当一个被查询元素的key被给出时，bloom tree会在一定的可能性下给出正确的值，一个特别的特点是bloom tree是由value构建的，不像传统的
Bloom Filter概念和原理
热门推荐
jiaomeng
01-27 30万+
Bloom Filter概念和原理焦萌 2007年1月27日 Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，Bloom Filter不适
Bloom Filter 原理与应用
生命不息 奋斗不止 | LINUX爱好者 世界因你的敲打而改变~~
10-08 2149
介绍 Bloom Filter是一种简单的节省空间的随机化的数据结构，支持用户查询的集合。一般我们使用STL的std::set, stdext::hash_set，std::set是用红黑树实现的，stdext::hash_set是用桶式哈希表。上述两种数据结构，都会需要保存原始数据信息，当数据量较大时，内存就会是个问题。如果应用场景中允许出现一定几率的误判，且不需要逆向遍历集合中的数据时，Bl
bloom filter算法
朝着梦想 渐行前进
07-20 2631
bloom filter算法
python compressed
最新发布
08-16
compressed_data = zlib.compress(data, zlib.Z_BEST_COMPRESSION) fout.write(compressed_data) with open(filename_out, mode="rb") as fin: data = fin.read() decompressed_data = zlib.decompress(data) `...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值