基于Redis的布隆过滤器的实现

最新推荐文章于 2025-03-21 18:49:59 发布
最新推荐文章于 2025-03-21 18:49:59 发布
阅读量3w 收藏 18
点赞数 4
分类专栏： Python redis Scrapy 文章标签： redis python爬虫
我开通了CSDN小店，有钱捧个钱场~
本文链接：https://blog.csdn.net/qq_30242609/article/details/71024458
版权

项目简介

包含一个基于Redis的布隆过滤器的实现，以及应用到Scrapy中的Demo。

地址：BloomFilterRedis

布隆过滤器

网上有很多介绍，推荐《数学之美》，介绍的很详尽，此处不再赘述。

哈希函数

布隆过滤器中需要n个哈希函数，我使用的是Arash Partow提供的常见哈希函数。

建立在Redis上的布隆过滤器

Redis中有一个数据结构叫做Bitmap(下方有官网详解)，它提供一个最大长度为512MB（2^32）的位数组。我们可以把它提供给布隆过滤器做位数组。

根据《数学之美》中给出的数据，在使用8个哈希函数的情况下，512MB大小的位数组在误报率万分之五的情况下可以对约两亿的url去重。而若单纯的使用set()去重的话，以一个url64个字节记，两亿url约需要128GB的内存空间,不敢想象。

我使用的策略是使用哈希函数算出的哈希值对2^32取模，填入bitmap中。

最低0.47元/天 解锁文章
基于Redis的布隆过滤器
04-30
基于Redis的布隆过滤器，内含scrapy示例程序，github地址：https://github.com/kongtianyi/BloomFilterRedis
Python+Redis实现布隆过滤器
01-21
布隆过滤器是什么 　布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比...
玩转Redis-Redis中布隆过滤器的使用及原理
zxiaofan.com
09-21 8434
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【11】篇，本文关键字：玩转Redis、Bloom filter、布隆过滤器、无偏hash函数； - 布隆过滤器的底层原理 - 布隆过滤器的底层结构 - 最佳hash函数数量与错误率的关系 - 所需存储空间与错误率及容量关系 - 布隆过滤器如何扩容 - 布隆过滤器有哪些应用场景 - 布隆过滤器的优缺点 - 延伸拓展
布隆过滤器（Bloom Filter）详解
最新发布
宋发元
03-21 1160
布隆过滤器（Bloom Filter）是一种高效的概率型数据结构，主要用于判断某个元素是否存在于一个集合中。等场景，广泛应用于缓存系统、黑名单过滤、网络安全等领域。Redis 本身不自带布隆过滤器，但可以使用。适当选择 kk 和 mm 可以优化误判率。布隆过滤器主要适用于。布隆过滤器可能会发生。
【Redis】布隆过滤器
人类所有真实的快乐，一定是恒久的努力
03-05 3853
布隆过滤器的简介、Redis的布隆过滤器的实现
使用 Redis 实现布隆过滤器
一线大码
07-17 315
文章目录1. WXISME2. 引入依赖3. 实现代码 1. WXISME https://github.com/wxisme/bloomfilter 2. 引入依赖 <dependency> <groupId>com.github.wxisme</groupId> <artifactId>bloomfilter</artifactId> <version>1.0.0</version>
Redis布隆过滤器实现
kankan_s的专栏
08-07 315
Redis提供了布隆过滤器（Bloom Filter）的支持，可以通过使用布隆过滤器在Redis中实现高效的快速查找和去重功能。总结：Redis的布隆过滤器是一种高效的数据结构，适用于大规模的数据去重和快速查找场景。布隆过滤器在处理大量数据时，可能会产生较多的误判（false positive），即判断元素存在但实际上不存在。布隆过滤器是一个概率性数据结构，它对元素是否存在的判断有一定的误差率，所以在使用时需要权衡误差和空间占用。在创建布隆过滤器时，需要提前估计期望插入的元素数量和误差率，不宜随意调整。
redis实现布隆过滤器
weixin_37862824的博客
11-16 591
布隆过滤器的实现原文章。
基于python第三方库pybloom-live实现的redis布隆过滤器类
12-23
在使用方面，开发者可以像创建普通类对象一样实例化我们的Redis布隆过滤器类。之后，就可以利用这个对象提供的方法来进行元素的添加和检查操作。特别是在重写scrapy-redis去重时，将原有的去重逻辑替换为布隆过滤器...
基于redis的布隆过滤器实现.zip
03-23
总结来说，"基于redis的布隆过滤器实现.zip"提供了一种使用Java实现的Redis布隆过滤器示例，帮助开发者理解如何在实际项目中利用Redis-Bloom插件进行数据过滤和去重，从而提高系统效率。通过学习和分析这个示例，...
Redis实现布隆过滤器的方法及原理
09-08
总的来说，Redis中的布隆过滤器是实现高效去重和空间优化的有效工具，虽然存在一定的误判风险，但在许多场景下，这种风险是可以接受的，特别是在需要快速判断元素是否存在且对误判容忍度较高的情况下。理解其工作...
9 Redis布隆过滤器插件安装.zip
10-20
Redis布隆过滤器插件是Redis数据库中一个非常实用的扩展功能，主要用于高效地判断一个元素是否可能存在于集合中。由于其独特的数据结构和算法，它在存储空间和查询效率之间取得了良好的平衡，尤其适用于大数据场景下...
基于redis的布隆过滤器
frank_07的博客
11-09 1629
import redis from hashlib import md5 import configparser#读取redis数据库配置 config = configparser.ConfigParser() config.read('util/db_conf') host = config['redis']['host'] port = config.getint('redis', 'port
基于Redis实现的布隆过滤器
qq_38517570的博客
03-07 1068
Redis的布隆过滤器
布隆过滤器
Gongyl的博客
07-12 505
一、什么是布隆过滤器 本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。 相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。 二、实现原理 HashMap 的问题 讲述布隆过滤器的原理之前，我们先思考一下，通常你判断某个元素是否存在用的是什么？应该蛮多人回答 HashMap 吧，确实
Redis——构建布隆过滤器
吴声子夜歌的博客
04-16 997
如果对应的 key 已经存在，bf.reserve 会报错。使用时不要让实际元素远大于初始化大小，当实际元素开始超出初始化大小时，应该对 布隆过滤器进行重建，重新分配一个 size 更大的过滤器，再将所有的历史元素批量 add 进 去 (这就要求我们在其它的存储器中记录所有的历史元素)。布隆过滤器的 initial_size 估计的过大，会浪费存储空间，估计的过小，就会影响准确 率，用户在使用之前一定要尽可能地精确估计好元素数量，还需要加上一定的冗余空间以避 免实际元素可能会意外高出估计值很多。
Redis-布隆过滤器
xiaoyuanbama的博客
10-20 1002
布隆过滤器，海量数据去重、过滤的不二之选
Redis布隆过滤器实现方法分析
7. Java与Redis布隆过滤器： 在Java中操作Redis，通常会用到Jedis、Lettuce等客户端库。这些库提供了与Redis进行交互的API，可以方便地在Java代码中实现布隆过滤器的逻辑。例如，使用Jedis客户端时，可以通过命令...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孔天逸

没有钱用，只能写写博客这样子~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值