bloomFilter和哈希函数murmur3

最新推荐文章于 2024-08-13 08:12:07 发布
最新推荐文章于 2024-08-13 08:12:07 发布
阅读量828 收藏
点赞数
分类专栏： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40275691/article/details/93068297
版权
本文介绍了BloomFilter的基本原理，其利用多个哈希函数将元素映射到位数组，以判断元素可能存在或一定不存在。Murmur3作为一种高效的哈希算法，常用于BloomFilter。文章讨论了BloomFilter的参数选择，如误判率和bit数组大小，以及如何根据这些参数确定hash函数的数量。最后，提到了murmur3_32的实现及其在BloomFilter中的应用，并推荐了相关学习资源。
摘要由CSDN通过智能技术生成

Murmur哈希算法是一种非加密hash算法，适用于哈希查找。

  • 优点是时间和空间消耗较少，可检索一个元素是否在集合中
  • 缺点是误识别率和删除困难

bloomFilter原理

​ 元素被加入集合时，选择k个哈希函数，对元素进行散列，映射到一个位数组中的k个点，并将其置为1。

​ 查找时，只判断这个元素经过哈希的k个点是否为1，如果等于1，不一定包含该元素，不等于1，一定不包含元素。只会产生两个结果：可能存在或者一定不存在。

BloomFilter实现和使用注意事项

使用时，需要考虑数据量n和误判率fpp

实现时，需要考虑hash函数的选择和bit数组大小，常见的是选取一个hash函数，输入k个参数产生映射点。

murmur3应用-BloomFilter

参数取值

假设BloomFilter中元素总bit数量为m（即bit array大小）,插入的元素个数为n，hash函数的个数为k，误判率为p

如果最小化误判率，则k的取值：
k = m n ∗ l n 2 k = \frac {m}{n} *ln2 k=nm​∗ln2
而p的取值又和m,n有如下关系：
m = − n ∗ l n p ( l n

最低0.47元/天 解锁文章
虫子不懒
关注
专栏目录
Bloom Filter高效的数据结构在实践中的应用
一键难忘的博客
06-10 822
Bloom Filter是一种空间效率极高的概率型数据结构，用于检测一个元素是否属于一个集合中。它的设计思想基于哈希函数，通过将元素映射到一个位数组中，并使用多个哈希函数进行多次映射，从而实现对元素的快速检索。Bloom Filter作为一种高效的数据结构，通过巧妙地利用位数组和多个哈希函数的结合，在实践中展现出了许多优秀的特性和应用场景。本文从原理、应用场景、代码实现、优化与注意事项以及进一步优化与扩展等方面全面介绍了Bloom Filter。
murmur3:本机MurmurHash3 Go实现
05-26
杂音3 Austin Appleby的第三个MurmurHash修订版（aka MurmurHash3）的Native Go实现。 引用算法已被略微修改，以支持Go的标准所需的流模式。 基准测试 截至2014年6月12日（即接近go1.3），i7核心@ 3.4 GHz时的提示。 所有运行都包括哈希实例化和序列确定。 Benchmark32_1 500000000 7.69 ns/op 130.00 MB/s Benchmark32_2 200000000 8.83 ns/op 226.42 MB/s Benchmark32_4 500000000 7.99 ns/op 500.39 MB/s Benchmark32_8 200000000 9.47 ns/op
murmur3哈希算法
weixin_33858485的博客
12-25 1878
murmur3哈希算法 murmur3非加密哈希算法 murmur3非加密哈希算法导图 据算法作者Austin Appleby描述，有c1, c2, n 三个常量用大量测试数据调测出来的，可以对数值进行微调。 murmur3哈希算法实现 //-------------------------------------------------------...
Murmur3 开源项目使用教程
最新发布
gitblog_00097的博客
08-13 344
Murmur3 开源项目使用教程 murmur3Native MurmurHash3 Go implementation项目地址:https://gitcode.com/gh_mirrors/mu/murmur3 1. 项目的目录结构及介绍 Murmur3 是一个用 Go 语言实现的 MurmurHash 算法库。项目的目录结构简洁明了，主要包含以下文件和目录： murmur3/ ├── LIC...
海量数据处理之Bloom Filter详解
jinghuainfo
08-14 957
海量数据处理之Bloom Filter详解 前言 本博客内曾已经整理过十道海量数据处理面试题与十个方法大总结。接下来，本博客内会重点分析那些海量数据处理的方法，并重写十道海量数据处理的面试题。如果有任何问题，欢迎不吝指正。谢谢。 一、什么是Bloom Filter Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属...
Bloom filter的实现以及常用的hash函数
博观约取
06-12 4131
Bloom filter的实现以及常用的hash函数 bloom filter利用时间换空间的思想，利用多个哈希函数，将一个元素的存在状态映射到多个bit中，特别是在网络环境中，BF具有广泛的用途，关键问题就是要减少false positive rate（可以设置参数来调节），扩展有 counting BF。这里选用的hash函数是表现较好的 BKDRHash , SDBMHash, D
murmur3 php,murmur: 更快更好的哈希函数
weixin_42136826的博客
03-10 745
以前写PHP的时候，哈希函数就只用过md5和sha1，也是最常用的两个。现在多数用python，又听说twitter用的是FNV，于是就用上了。FNV产生的是一个整数，32位或者64位或者更多。一般用来做字符串哈希的话，需要64位。32位的碰撞率咱不放心。整数的结果，比起md5和sha1的字符串结果，存储空间要小一点。而且FNV也是比较快的。现成的FNV的python模块是pyfasthash。这...
PHP中实现Bloom Filter算法
10-24
在上述代码中，我们定义了一个`BloomFilter`类，构造函数接受哈希函数的数量和位数组的大小作为参数。`add`方法用于添加元素到Bloom Filter中，它通过循环使用哈希函数来计算多个位置并把它们设置为1。`check`方法...
Bloom-Filter:Java中Bloom Filter数据结构的实现
05-03
3. **插入元素**：当向Bloom Filter添加元素时，通过每个哈希函数计算元素的位数组索引，然后将这些位置设为1。例如，对于元素x，使用哈希函数h1(x)、h2(x)等，将位数组的相应位置1。 4. **查询元素**：查询元素y时...
Redis——Bloom Filter原理与应用
庄小焱
03-15 450
摘要 在我们平时开发过程中，会有一些 bool 型数据需要存取，比如用户一年的签到记录，签了是 1，没签是 0，要记录 365 天。如果使用普通的 key/value，每个用户要记录 365个，当用户上亿的时候，需要的存储空间是惊人的。为了解决这个问题， Redis 提供了位图数据结构，这样每天的签到记录只占据一个位，365 天就是 365 个位， 46 个字节 (一个稍长一点的字符串) 就可以完全容纳下，这就大大节约了存储空间。 位图不是特殊的数据结构，它的内容其实就是普通的字符串，也就是 byte
C语言哈希函数库murmur3.zip
07-17
这是 Murmur3 哈希函数的 C 语言移植版本，Murmur3 是一个非加密的哈希算法，主要设计目的是快速和高质量，原有代码是 C 的，先移植到 C 并兼容标准 C 和 gcc 编译器。 标签：murmur3
murmur3:murmur3的生锈实现
05-07
杂音3 这是快速的非加密哈希的生锈实现。 有关示例代码，请参见。
murmur32:本机 murmurhash3 32 位与浏览器回退
06-06
murmur32 本机 murmurhash3 32 位与浏览器回退 接口 传递一个字符串和可选的种子（无符号整数），得到一个 32 位整数哈希。 var murmur = require ( 'murmur32' ) var hash = murmur ( 'rabba rabba rabba' , seed ) 安装 用做： npm install murmur32 和为浏览器。 执照 :copyright:
murmur3 php,UPGRADING
weixin_34515820的博客
03-10 169
PHP 8.1 UPGRADE NOTES1. Backward Incompatible Changes2. New Features3. Changes in SAPI modules4. Deprecated Functionality5. Changed Functions6. New Functions7. New Classes and Interfaces8. Removed Ext...
Hash（哈希/散列）和Bloom Filter(布隆过滤器)
coderge's CSDN Blog.
10-25 1358
布隆过滤器背后的数学原理在于两个完全随机的数字冲突的概率很小，因此，可以在很小的误识别率条件下，用很少的空间存储大量信息。常见的补救误识别的办法是再在建立一个小的白名单，存储那些可能被误判的信息。由于布隆过滤器中只有简单的算术运算,因此它的速度很快，使用方便。
探秘高效且灵活的Murmur3哈希库：打造你的数据处理利器！
gitblog_00082的博客
05-10 579
探秘高效且灵活的Murmur3哈希库：打造你的数据处理利器！ murmur3Native MurmurHash3 Go implementation项目地址:https://gitcode.com/gh_mirrors/mu/murmur3 在追求高性能和高效率的软件开发中，哈希函数扮演了至关重要的角色。今天，我们向你推荐一个基于Go语言实现的高效哈希库——murmur3，它是Austin Ap...
murmurhash
liu1014020126的专栏
11-06 997
转载一篇有关murmurhash算法的博客。。。 unsigned int murMurHash(const void *key, int len)     {         const unsigned int m = 0x5bd1e995;         const int r = 24;         const int seed = 97;         unsigned int ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值