12-布隆过滤器+布谷鸟过滤器+分布式锁

最新推荐文章于 2024-07-18 12:51:15 发布
最新推荐文章于 2024-07-18 12:51:15 发布
阅读量275 收藏 3
点赞数
分类专栏： Redis 文章标签： 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60700102/article/details/125205245
版权
本文介绍了布隆过滤器和布谷鸟过滤器的工作原理及其在解决缓存穿透问题中的应用。布隆过滤器利用哈希函数在二进制数组中存储数据，存在误判但节省空间；布谷鸟过滤器通过鸠占鹊巢的机制，解决空间利用率问题，但面临挤兑循环问题。文章还讨论了两者的优缺点以及删除操作的挑战，并提及了分布式锁的相关内容。
摘要由CSDN通过智能技术生成

布隆过过滤器

用于解决 缓存穿透问题

image-20220427165617223

布隆过滤器 本质就是二进制 01组成的二进制数组，工作原理也很简单 就是判断用户访问的数据是否存在于缓存中，

布隆过滤器工作原理

前置知识 哈希函数：

通过同一个哈希函数 得到的哈希值不相同 那么两个哈希值原始输入的值肯定是不同的。

通过同一个哈希函数，得到的哈希值相同， 两个哈希值的原始值有可能相同 有可能不同。

总结下来也就是 哈希值不同 原来的值肯定不同 哈希值相同 原来的值有可能相同 有可能不同。

布隆过滤器为什么要哈希函数存储那？

哈希函数最后存入到布隆过滤器中就是 0和1 存在数组就是1 不存在就是0 这比存原始数据大大减少了内存的占用

  1. 数据插入过程

数据存入过程

image-20220427171726085

以上图为例

原始数据hello 经过两个hash函数 计算出两个位置 3 和5

在二进制数组中就把 3和5的位置改为1 其它为0

000101000 就是hello在布隆过滤器中的位置

读取过程与存入过程相似，通过hash计算读取值的hash函数 判断是否存在 存在就去缓存中读取数据

删除操作很难操作

最低0.47元/天 解锁文章
机猿巧合.
关注
专栏目录
布谷鸟算法Java实现源码
03-10
附件中是布谷鸟算法的Java版本的代码实现，可以正常运行；下载者可以根据自己的应用场景来修改。
布隆过滤器和布谷鸟过滤器详解
三3三的博客
02-16 3063
布隆过滤器和布谷鸟过滤器实现原理详解
短链接day10
最新发布
weixin_63374588的博客
07-18 672
用户横向越权是指在系统中，用户 A 能够访问或操作用户 B 的数据或功能，而这种访问或操作是未经授权的。这种安全漏洞通常出现在访问控制不严格或错误配置的系统中。如何复现用户横向越权？咱们短链接监控有四个获取监控数据方法，假设系统有两个用户：用户 A 和用户 B。用户 A 创建短链接/aaaaaa，用户 B 创建短链接/bbbbbb，只要用户任意登录，就可以访问任意创建的短链接监控数据。
[Redis] 使用布隆过滤器和分布式锁实现用户注册
m0_61632590的博客
05-08 556
布隆过滤器具有高效的插入和查询性能，且占用内存较小，但是存在一定的误判率，即可能会将不存在于集合中的元素误判为存在于集合中。所以我们需要配置布隆过滤器的存储元素数量和误判率。
【知识点随笔分析 | 第八篇】什么是布谷鸟过滤器（缓解Redis穿透）
fckbb的博客
11-07 4107
布谷鸟过滤器基于布谷鸟哈希结构，它使用指纹来标记每一个元素。布谷鸟过滤器解决了布隆过滤器不可以对内部数据进行删除的痛点。但由于其基于指纹的特性，可能会存在误判情况。
布隆过滤器和布谷鸟过滤器
老师好我叫付十一的博客
11-16 2589
布隆过滤器、布谷鸟过滤器
布隆过滤器+CBF scala实现+代码详解
01-20
【布隆过滤器(Bloom Filter)】是一种空间效率极高的概率型数据结构，用于测试一个元素是否在一个集合中。它可能会误报一个元素在集合中（假阳性），但不会漏报（假阴性）。布隆过滤器的核心在于一个位数组和多个独立...
大厂五剑客之redis实战分布式缓存彻底解决方案—12—-布隆过滤器等
01-20
布隆过滤器和set和map是平级的，是判断一定不存在还是可能存在的数据结构。 key进来多个hash进行散列映射。 布隆过滤器：https://www.jianshu.com/p/2104d11ee0a2 ——————————————————01————...
分布式爬虫应用中布隆过滤器的研究.doc
11-21
分布式爬虫应用中布隆过滤器的研究 布隆过滤器是一种空间效率高、查询速度快的概率性数据结构，广泛应用于大规模数据处理、网络爬虫、云计算等领域。然而，在分布式网络爬虫应用中，布隆过滤器仍然存在一些缺陷，...
Python+Redis实现布隆过滤器
01-21
布隆过滤器是什么 　布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比...
go-cuckoof:去实现布谷鸟过滤器
07-06
布谷鸟过滤器（Cuckoo Filter）是一种空间效率极高的数据结构，常用于近似成员关系查询，类似于布隆过滤器（Bloom Filter）。它由Edward O. Fanaee-T和Gang Wang在2014年提出，其设计灵感来源于布谷鸟巢寄生行为，故...
cuckoofilter
05-01
JCuckooFilter 布谷鸟过滤器的Java实现
【大数据管理】Java实现布谷鸟过滤器（CF）
m0_53700832的博客
01-25 2130
最简单的布谷鸟哈希结构是一维数组结构，会有两个hash算法将新来的元素映射到数组的两个位置，如果两个位置中有一个位置为空，那么就可以将元素直接放进去；但是如果这个位置也被别的元素占据，它就会再将受害者的角色转嫁给的元素，然后这个新的受害者还会重复这个过程直到所有的元素都找到了自己的位置为止。布谷鸟过滤器和布谷鸟哈希结构一样，它也是一维数组，但是不同于布谷鸟哈希的是，布谷鸟哈希会存储整个元素，而布谷鸟过滤器中只会存储元素的指纹信息（几个。，如果超过这个次数仍没有找到插入位置，就认为过滤器已满，插入失败。
经典数据结构：对布隆过滤器、布谷鸟过滤器的理解
阳光大男孩！！！的博客
01-11 787
布隆过滤器（Bloom Filter）是一种时间和空间上都比较高效的数据结构,它是1970年由布隆提出的。
大数据算法——布隆过滤器
mc_ChenF_B的博客
04-19 146
今天的文章和大家一起来学习大数据领域一个经常用到的算法——布隆过滤器。如果看过《数学之美》的同学对它应该并不陌生，它经常用在集合的判断上，在海量数据的场景当中用来快速地判断某个元素在不在一个庞大的集合当中。它的原理不难，但是设计非常巧妙，老实讲在看《数学之美》之前，我也没有听说过这个数据结构，所以这篇文章也是我自己学习的笔记。
布隆过滤器、布谷过滤器
__一叶__的博客
05-04 401
布隆过滤器及用途
java简单实现布谷鸟过滤器
touch_ping的专栏
06-09 1634
布谷鸟过滤器，一种增强版的布隆过滤器，不同于布隆过滤器的是，存放一段hash的地方会多个位置，用于增加空间率用率，布谷鸟过滤器会有两个hash，异或算法，两个hash能找到相互的位置，用于其中一个被布谷鸟的蛋T走时的容错。 测试添加1亿数据，运行结果： 还没有做扩容等操作，这里只是简单的实现。参考：https://zhuanlan.zhihu.com/p/462813998 https://blog.csdn.net/aaa_bbb_ccc_123_456/article/details/10605
布隆过滤器（Bloom Filter）、布谷鸟过滤器（Cuckoo Filter)、商过滤器（quotient filter）(持续更新~~~~)
qq_43751200的博客
10-21 1971
布隆过滤器、布谷鸟过滤器、商过滤器
揭秘布谷鸟过滤器：一场数据过滤中的“鸠占鹊巢”大戏！
欢迎关注同名公众号，一起探索Java技术的奥秘，共同成长！
04-07 1205
揭秘布谷鸟过滤器：一场数据过滤中的“鸠占鹊巢”大戏！
什么是布隆过滤器 怎样实现
08-08
### 回答1： 布隆过滤器(Bloom Filter)是一种数据结构，用于判断一个元素是否在一个集合中。它可以快速的判断出一个元素是否在集合中，但是可能会把不在集合中的元素误判成在集合中。因此，布隆过滤器并不能精确地判断一个元素是否在集合中，而是可以快速的判断出一个元素可能在集合中。 布隆过滤器的实现方式通常是使用一个位数组和多个哈希函数。首先，创建一个由 0 和 1 组成的位数组，然后使用多个哈希函数对每个要添加到集合中的元素进行哈希。每个哈希函数会生成一个数字，该数字表示在位数组中的位置。将位数组中对应的位置的值设为 1，表示该元素可能在集合中。 当要判断一个元素是否在集合中时，同样使用多个哈希函数对该元素进行哈希，得到对应的位置。如果位数组中对应的位置的值都为 1，则该元素可能在集合中；如果位数组中对应的位置的值有 0，则该元素一定不在集合中。 布隆过滤器的优点在于，它可以快速的判断出一个元素是否在集合中 ### 回答2： 布隆过滤器是一种高效的数据结构，用于判断一个元素是否存在于集合中。它使用位数组和多个哈希函数来进行存储和判定。 布隆过滤器的实现过程如下： 1. 初始化：创建一个长度为m的位数组，全部初始化为0。 2. 添加元素：将待添加的元素通过k个哈希函数分别映射到位数组的k个位置上，将这些位置的值设为1。 3. 判断元素是否存在：将待判断的元素同样通过k个哈希函数映射到位数组的k个位置上，如果发现其中任何一个位置的值为0，则说明该元素一定不存在于集合中；如果所有位置的值都为1，则该元素可能存在于集合中。 布隆过滤器的基本原理是通过哈希函数将元素映射到位数组上，从而实现高效的元素判定。它具有空间效率高、查询速度快的特点，但有一定的误判率。这是因为多个不同的元素可能映射到位数组的同一个位置上，因此当查询时，有可能判断某个元素存在于集合中，但实际上该元素并不存在。 布隆过滤器在实际应用中具有广泛的用途，如URL去重、缓存穿透、垃圾邮件过滤等。在设计时需要合理选择位数组长度（m）和哈希函数个数（k），以较小的误判率为前提，同时兼顾时间和空间效率。 ### 回答3： 布隆过滤器是一种数据结构，用于快速判断某个元素是否存在于一个大规模集合中。它通过使用位数组和多个哈希函数来实现。 在布隆过滤器中，首先需要创建一个长度为m的位数组，并将所有位初始化为0。同时，我们需要选择k个哈希函数，每个哈希函数将元素映射到位数组中的一个位上。 当要插入一个元素时，需要将该元素经过k个哈希函数得到对应的k个位置，并将这些位置的位值设为1。当要查询一个元素是否存在时，同样需要将该元素经过k个哈希函数，然后检查对应的k个位置的位值。如果其中任何一个位值为0，则表明该元素一定不存在于集合中。但如果所有位值都为1，则该元素可能存在或者是误判，可能需要进一步验证。 布隆过滤器的实现主要依赖于位数组和哈希函数。位数组可以使用一个比特位模拟，节约存储空间。哈希函数可以选择常用的哈希函数，如MD5、SHA等，也可以使用布谷鸟哈希等特殊的哈希函数，以提高过滤器的效果。 然而，布隆过滤器也存在一些缺点。首先，无法删除已插入的元素，因为删除操作会影响到其他元素的判断结果。其次，布隆过滤器的判断结果有一定的误判率，即存在一定的概率将不存在的元素判断成存在。 布隆过滤器常被应用于快速判断一个元素是否存在，例如在大规模的缓存系统和分布式系统中，可以通过布隆过滤器减少对底层存储系统的查询次数，提高系统的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机猿巧合.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值