【大厂必备】系列之Redis布隆过滤器

最新推荐文章于 2023-06-16 18:09:11 发布
最新推荐文章于 2023-06-16 18:09:11 发布
阅读量336 收藏 1
点赞数
分类专栏： 大厂必备 文章标签： Redis 大数据 布隆过滤器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mortal5/article/details/119394277
版权
本文介绍了布隆过滤器的概念、优缺点，并详细阐述了Redis中的布隆过滤器及其命令，如bf.add和bf.exists。接着，列举了布隆过滤器的典型应用场景，如防止数据库穿库、判断用户访问历史、缓存穿透防护和Web拦截器的黑名单校验。最后，强调了布隆过滤器在大数据场景中的重要性和在大厂面试中的常见性。
摘要由CSDN通过智能技术生成

上期文章我们聊了聊Redis分布式锁的相关知识点，相信大家一定收获满满，分布式锁是极其重要的知识，大家一定要掌握啊，要不然可连大厂的门都进不去的，哈哈哈……

在这里插入图片描述

之前在介绍Redis基本数据结构的那篇文章中，我提到过布隆过滤器，在大数据面前，布隆过滤器有着很棒的性能，也有着很广泛的应用场景，比如垃圾邮件的过滤加粗样式，缓存雪崩、击穿、拦截器等。

什么是布隆过滤器

布隆过滤器（Boolm Filter）是1970年由布隆提出的一种算法。实际上是一个很长的二进制向量和一系列随机映射函数。其实就是一种数据结构，类似于Hash、Set，主要用于检索一个元素是否在一个集合中。

在编程中，我们想要判断一个元素是不是在一个集合中，一般会想到将所有元素保存起来，然后比较确定。链表、树等待数据结构都是这种思路。但是，随着集合中元素的增加，需要的存储空间越来越大，检索的速度也就越来越慢了。

布隆过滤器相对于Hash、Set加粗样式等数据结构不同的时，它无需存储key，对于每个key，只需要k个比特位，每个存储一个标志，用来判断key是否在集合中。

所以，它可以实

最低0.47元/天 解锁文章
昊说
关注
专栏目录
Java中高级核心知识全面解析——数据结构(布隆过滤器【原理介绍、使用场景、如何实现】、Redis中的布隆过滤器)
2301_78399805的博客
05-04 630
Redis v4.0 之后有了 Module（模块/插件） 功能，Redis Modules 让 Redis 可以使用外部模块扩展其功能。布隆过滤器就是其中的 Module。另外，官网推荐了一个 RedisBloom 作为 Redis 布隆过滤器的 Module,地址：https://github.com/RedisBloom/RedisBloom。
基于Redis的布隆过滤器
04-30
基于Redis的布隆过滤器，内含scrapy示例程序，github地址：https://github.com/kongtianyi/BloomFilterRedis
Redis---布隆过滤器
TIMFannie的博客
02-24 353
Redis---布隆过滤器 简介： Redis官方在4.0版本后新增了布隆过滤器插件，配置了插件执行bf.add 布隆过滤器名称 值、bf.madd布隆过滤器名称 值列表等来对布隆过滤器进行操作。为提高布隆过滤器准确性，通过bf.reserve布隆过滤器名称期望错误率初始容量 命令自定义redis的布隆过滤器。
Redis：布隆过滤器
Monkey-yc
07-09 170
作用：预防缓存穿透 服务器接口遭到恶意攻击，大量查询缓存中没有的数据，流量打到数据库，造成数据库故障。 布隆过滤器 布隆过滤器就是一个n位的二进制数组，利用多组哈希，将数据库中存在的数据在二进制数组中映射出来。 每组哈希会得到二进制数组的一个下标，所有下标都为1，则该数据可能存在，否则一定不存在。 请求过来，先进行哈希，去布隆过滤器验证该数据是否存在，这样可以在缓存层避免掉绝大部分穿透查询。 布隆过滤器存在误差。因为每个二进制位表示多个数据，因此，可以通过增加数组长度或者增加哈希次数来减小误差，但同时会带来
redis之布隆过滤器
lyy9902的博客
12-18 222
服务器环境：CentOS 7 Redis版本：Redis 6.0.9 布隆过滤器的安装： 下载，找一个放软件的目录，执行如下命令。 wget https://codeload.github.com/RedisBloom/RedisBloom/zip/master 这样下载回来的文件是zip格式的，解压文件 unzip master 打开解压后的文件夹,执行make命令。 cd RedisBloom-master/ make 会得到如下一个文件。 可以移动这个文件
Redis之布隆过滤器
weixin_45486746的博客
12-18 522
说一个很常见的场景吧，我们在新闻网站、视频网站浏览新闻视频的时候，它们是怎么给我们推荐那些我们没看过的内容的呢？ 可能你会想到：服务器端储存每个用户的观看记录，在去除掉每个用户已观看的内容，但是这种方法会给服务器端很大的压力，当用户量特别大的时候，每个人看过的内容又很多的时候，效率会大大降低，甚至拖垮服务。 如果每个用户的观看内容是存到了关系型数据库，那每次查询的时候都要顺便判断是否有重复观看的数据，说实话，关系型数据库不适合这种场景。 再假如，把观看数据存到了缓存中，但是这些数据是不会消失的，会随着时间的
大厂五剑客之redis实战分布式缓存彻底解决方案—12—-布隆过滤器等
01-20
布隆过滤器和set和map是平级的，是判断一定不存在还是可能存在的数据结构。 key进来多个hash进行散列映射。 布隆过滤器：https://www.jianshu.com/p/2104d11ee0a2 ——————————————————01————...
【大厂必备】系列之Redis过期策略、内存淘汰策略及LRU
mortal5的博客
08-12 332
上期文章我们聊了聊【大厂必备】系列之Redis布隆过滤器的相关知识点，相信大家一定收获满满，布隆过滤器是极为优秀的算法，在一些特定场景有奇效，如果没看的记得获取瞧瞧，顺便点个赞哈！ 回首掏 截止目前有关Redis的一些重要知识点我们已经聊了不少，如果没看的小伙伴记得回去看看 【大厂必备】系列之聊聊Redis基础 【大厂必备】系列之Redis之主从复制、持久化、哨兵 【大厂必备】系列之Redis雪崩、击穿、穿透 【大厂必备】系列之Redis分布式锁 【大厂必备】系列之Redis布隆过滤器 正文 我们知道，Re
Redis 之布隆过滤器
热门推荐
伟大是熬出来的
03-22 1万+
1、布隆过滤器使用场景 　　比如有如下几个需求： 　　①、原本有10亿个号码，现在又来了10万个号码，要快速准确判断这10万个号码是否在10亿个号码库中？ 　　解决办法一：将10亿个号码存入数据库中，进行数据库查询，准确性有了，但是速度会比较慢。 　　解决办法二：将10亿号码放入内存中，比如Redis缓存中，这里我们算一下占用内存大小：10亿*8字节=8GB，通过内存查询，准确性和速度都有了，但是大约8gb的内存空间，挺浪费内存空间的。 　　②、接触过爬虫的，应该有这么一个需求，需要爬虫的网站千千
【Redis】布隆过滤器
人类所有真实的快乐，一定是恒久的努力
03-05 2789
布隆过滤器的简介、Redis的布隆过滤器的实现
redis布隆过滤器
越过第八个坑的博客
02-19 1478
# 布隆过滤器 ### 定义 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。 ### 用处 布隆过滤器可以用于检索一个元素是否在一个集合中。具体使用有: 网页爬虫对URL的去重，避免爬取相同的URL地址 反垃圾邮件，从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱（同理，垃圾短信） 缓存穿透，将所...
Redis面试题-布隆过滤器
haicoder_ibai的博客
03-18 1048
本文参考 嗨客网 Redis面试题 布隆过滤器 什么是布隆过滤器 布隆过滤器（Bloom Filter）是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 哈希函数 布隆过滤器离不开哈希函数，所以在这里有必要介绍下哈希函数的概念，哈希函数的性质: 经典的哈希函数都有无限大的输入值域(无穷大)。 经典的哈希函数的输出域都是固定的范围(有穷.
redis-布隆过滤器
foralllove的博客
03-13 1478
布隆过滤器，是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。 优点：是空间效率和查询时间都远远超过一般的算法 缺点：是有一定的误识别率和删除困难 布隆过滤器的原理： 当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，我们只要看看这些点是不是都是1就（大约）知道集合中有没有它了：如果这些点有任何一个0，则被检元素一定不在；如果都是1，则被检元素很可能在。 应用的场景 一般我们都会用来防止缓存击穿：
布隆过滤器
Gongyl的博客
07-12 437
一、什么是布隆过滤器 本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。 相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。 二、实现原理 HashMap 的问题 讲述布隆过滤器的原理之前，我们先思考一下，通常你判断某个元素是否存在用的是什么？应该蛮多人回答 HashMap 吧，确实
Redis中的布隆过滤器
头发茂密的假程序猿
03-15 206
1 布隆过滤器使用场景 从一个数据量很大的集合中去判断是否包含某个元素，布隆过滤判断“纯在”是不准的，即使用布隆过滤器比如Guava中的mightContains(xxx)，即使返回true也不能说明xxx就是存在的，此处看这个函数名字都知道，用的might，但如果此函数返回false，则一定不存在。 网络爬虫 判断某个URL是否已经被爬取过 K-V数据库 判断某个key是否存在 比如 Hbase 的每个 Region 中都包含一个 BloomFilter，用于在查询时快速判断某个 key 在该 r
Redis系列--布隆过滤器（Bloom Filter）
weixin_42972832的博客
06-16 7009
无论使用谷歌版本的布隆过滤器还是自己编写的，都会存在两个问题，1、因为不同元素经过hash函数计算后可能会出现相同的hash值（hash碰撞），就会出现一个误判率的问题2、因为有hash碰撞，导致同一个位置可能存放不同的数据，这对于删除操作是很不友好的。对于这些情况可查看另一种布隆过滤器，布谷鸟过滤器。
Redis 系列--布隆过滤器
phaeton_lai的博客
06-27 294
当我们在使用 Redis 作为缓存时，一个需要考虑的问题就是缓存穿透，缓存穿透有多种类型，不同的类型也有不同的解决方案，布隆过滤器作为一种解决方案之一。布隆过滤器主要用于判断某个元素是否包含在某个超大的元素集合之中。当元素的集合大到一定程度时，我们将元素一一存储再通过查找判断，是非常消耗存储资源，同时性能也是非常低下的，这种场景正是布隆过滤器的用武之地。 版本说明：本篇基于 Redis-5.0.8 以及 RedisBloom-2.0.0。 1. 准备 Redis-5.0.8 官方地址：Redis-5.
redis使用布隆过滤器
sora33的博客
07-11 1万+
介绍布隆过滤器以及用法，项目中如何使用，如何解决redis穿透
docker安装redis 布隆过滤器
最新发布
02-14
要在Docker中安装Redis布隆过滤器，可以按照以下步骤进行操作： 1. 首先，确保已经安装了Docker。如果没有安装，请根据您的操作系统进行安装。 2. 打开终端或命令提示符，并运行以下命令来拉取Redis镜像： ``` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值