Java Spring Cloud XXI 之 布隆过滤器

最新推荐文章于 2023-04-21 22:47:19 发布
最新推荐文章于 2023-04-21 22:47:19 发布
阅读量93 收藏
点赞数
分类专栏： Java Spring系列 文章标签： spring java spring cloud
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/letterljhx/article/details/126986937
版权

Java Spring Cloud XXI 之 布隆过滤器

布隆过滤器

1.布隆过滤器介绍

布隆过滤器能够实现使用较少的空间来判断一个指定的元素是否包含在一个集合中

布隆过滤器并不保存这些数据,所以只能判断是否存在,而并不能取出改元素

布隆过滤器常见使用场景

  1. idea中编写代码,一个单词是否包含在正确拼写的词库中(拼写不正确划绿线的提示)
  2. 公安系统,根据身份证号\人脸信息,判断该人是否在追逃名单中
  3. 爬虫检查一个网址是否被爬取过

…

宗旨凡是判断一个元素是否在一个集合中的操作,都可以使用它

2. 为什么使用布隆过滤器

常规的检查一个元素是否在一个集合中的思路是遍历集合,判断元素是否相等

这样的查询效率非常低下

要保证快速确定一个元素是否在一个集合中,我们可以使用HashMap

因为HashMap内部的散列机制,保证更快更高效的找到元素

所以当数据量较小时,用HashMap或HashSet保存对象然后使用它来判定元素是否存在是不错的选择

但是如果数据量太大,每个元素都要生成哈希值来保存,我们也要依靠哈希值来判定是否存在,一般情况下,我们为了保证尽量少的哈希值冲突需要8字节哈希值做保存

long取值范围:-9223372036854775808-----9223372036854775807

5亿条数据 每条8字节计算后结果为需要3.72G内存,随着内存数增长,这个数字可能更大

所以Hash散列或类似算法可以保证高效判断元素是否存在,但是消耗内存较多

所以我们使用布隆过滤器实现,高效判断是否存在的同时,还能节省内存的效果

但是布隆过滤器的算法天生会有误判情况,需要能够容忍,才能使用

3. 布隆过滤器原理

  • 巴顿.布隆于⼀九七零年提出
  • ⼀个很长的⼆进制向量（位数组）
  • ⼀系列随机函数 (哈希)
  • 空间效率和查询效率⾼
  • 有⼀定的误判率（哈希表是精确匹配）
    请添加图片描述
    semlinker

我们使用不同的3个hash算法为例

算法1:semlinker–>2

算法2:semlinker–>6

算法3:semlinker–>4

会在布隆过滤器中产生如下影响
请添加图片描述
查询"Good"在不在布隆过滤器中

算法1:Good–>7

算法2:Good–>3

算法3:Good–>6

我们判断Good单词生成的3,6,7三个位置,只要有一个位置是0

就表示当前集合中没有Good这个单词

一个布隆过滤器不可能存一个单词,一般布隆过滤器都是保存大量数据的

如果有新的元素保存在布隆过滤器中

kakuqo

算法1:kakuqo–>3

算法2:kakuqo–>4

算法3:kakuqo–>7
请添加图片描述
新的单词生成3,4,7个位置

那么现在这个布隆过滤器中2,3,4,6,7都是1了

如果又有单词bad

bad

算法1:bad–>2

算法2:bad–>3

算法3:bad–>6

判断布隆过滤器2,3,6都是1,所以布隆过滤器会认为bad是存在于这个集合中的

误判就是这样产生的

布隆过滤器误判的效果:

  • 布隆过滤器判断不存在的,一定不在集合中
  • 布隆过滤器判断存在的,有可能不在集合中

过短的布隆过滤器如果保存了很多的数据,可能造成二进制位置值都是1的情况,一旦发送这种情况,布隆过滤器就会判断任何元素都在当前集合中,布隆过滤器也就失效了

所以我们要给布隆过滤器一个合适的大小才能让它更好的为程序服务

  • 优点

​ 空间效率和查询效率⾼，

  • 缺点
    • 有⼀定误判率即可（在可接受范围内）。
    • 删除元素困难(不能将该元素hash算法结果位置修改为0,因为可能会影响其他元素)
    • 极端情况下,如果布隆过滤器所有为位置都是1,那么任何元素都会被判断为存在于集合中

4. 设计布隆过滤器

我们在启动布隆过滤器时,需要给它分配一个合理大小的内存

这个大小应该满足

1.一个可接受范围的大小

2.不能有太高的误判率

内存约节省,误判率越高

内存越大,误判率越低

数学家已经给我们了公式计算误判率
请添加图片描述
上面是根据误判率计算布隆过滤器长度的公式

n 是已经添加元素的数量；

k 哈希的次数；

m 布隆过滤器的长度(位数的大小)

计算结果就是误判率

如果我们已经确定可接受的误判率,想计算需要多少 布隆过滤器的长度
请添加图片描述
布隆过滤器计算器

https://hur.st/bloomfilter

windows安装redisbloom布隆过滤器

https://blog.csdn.net/weixin_44770915/article/details/107918770

我是将军；我一直都在，。！

Spume--
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SpringCloud分布式微服务新零售电商平台项目实战教程(附源码)
04-17
该项目是采用目前比较流行的SpringBoot/SpringCloud构建微服务电商项目，项目叫 《果然新鲜》，实现一套串联的微服务电商项目。完全符合一线城市微服务电商的需求，对学习微服务电商架构，有非常大的帮助，该项目涵盖从微服务电商需求讨论、数据库设计、技术选型、互联网安全架构、整合SpringCloud各自组件、分布式基础设施等实现一套完整的微服务解决方案。 项目使用分布式微服务框架,涉及后台管理员服务、地址服务、物流服务、广告服务、商品服务、商品类别服务、品牌服务、订单服务 、购物车服务、首页频道服务、公告服务、留言服务、搜索服务、会员服务等。  系统架构图   SpringBoot+SpringCloud+SSM构建微服务电商项目使用SpringCloud Eureka作为注册中心，实现服务治理使用Zuul网关框架管理服务请求入口使用Ribbon实现本地负载均衡器和Feign HTTP客户端调用工具使用Hystrix服务保护框架（服务降级、隔离、熔断、限流）使用消息总线Stream RabbitMQ和 Kafka微服务API接口安全控制和单点登录系统CAS+JWT+OAuth2.0分布式基础设施构建分布式任务调度平台XXL-JOB分布式日志采集系统ELK分布式事务解决方案LCN分布式锁解决方案Zookeeper、Redis分布式配置中心（携程Apollo）高并发分布式全局ID生成（雪花算法）分布式Session框架Spring-Session分布式服务追踪与调用链Zipkin项目运营与部署环境分布式设施环境，统一采用Docker安装使用jenkins+docker+k8s实现自动部署微服务API管理ApiSwagger使用GitLab代码管理（GitHub  GitEE）统一采用第三方云数据库使用七牛云服务器对静态资源实现加速 开发环境要求JDK统一要求：JDK1.8Maven统一管理依赖 统一采用Docker环境部署编码统一采用UTF-8开发工具IDEA 或者 Eclipse 
什么是布隆过滤器
weixin_68138130的博客
09-03 249
布隆过滤器
布隆过滤器详解
一个菜鸟的博客
04-21 823
本文全部代码地址布隆过滤器是一种高效的数据结构,用于判断一个元素是否存在于一个集合中.它的主要优点是速度快,空间占用少,因此在需要快速判断某个元素是否在集合中的场合得到广泛引用.布隆过滤器就是一个大型的位数组和几个不一样的无偏hash函数.所谓无偏就是能够把元素的hash值算的比较均匀.当布隆过滤器说某个值存在时,这个值可能不存在;当它说某个值不存在时,那就肯定不存在.
【C++进阶】十一、哈希的应用---布隆过滤器（二）
枫叶先生的博客
03-23 829
布隆过滤器提出|布隆过滤器概念|布隆过滤器实现|布隆过滤器优缺点详解
布隆过滤器 & Guava布隆过滤器的使用
yzh_1346983557的博客
06-03 1807
布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 ...
精通Spring.MVC
11-22
This book is for Spring or Java EE application developers who want to learn and fully leverage Spring's Web-tier creator and framework, Spring MVC. This book is also for experienced enterprise and ...
spring MVC 最新教程
10-23
 Appendix: Cloud Foundry: Deploying to the Cloud.............................................535  Index ...............................................................................................
learn_objective_c_for_java_developers.pdf
08-16
xxi About the Technical Reviewer ................................................................................. xxii Acknowledgments ..................................................................
megabekasi-xxi-schedule:从megabekasi xxi获取当前电影
05-13
标题 "megabekasi-xxi-schedule" 指示了一个项目，其目标是获取印度尼西亚贝卡西Megabekasi XXI电影院的当前放映电影时间表。这个项目可能是一个Web应用或者一个命令行工具，利用JavaScript编程语言来实现。...
The Java EE 6 Tutorial Basic Concepts 4th Edition
10-08
Preface xxi Part I: Introduction 1 Chapter 1: Overview 3 Java EE 6 Platform Highlights 4 Java EE Application Model 5 Distributed Multitiered Applications 6 Java EE Containers 13 Web Services...
Redis亿级数据过滤和布隆过滤器
C/C++Linux、音视频、DPDK
03-19 631
Redis详解—rehash、布隆过滤器、redis持久化 如上图所示，布隆过滤器(Bloom Filter) 就是这样一种专门用来解决去重问题的高级数据结构。但是跟 HyperLogLog 一样，它也一样有那么一点点不精确，也存在一定的误判概率，但它能在解决去重的同时，在 空间上能节省 90% 以上，也是非常值得的。 布隆过滤器是什么 布隆过滤器（Bloom Filter） 是 1970 年由布隆提出的。它 实际上 是一个很长的二进制向量和一系列随机映射函数 (下面详细说)，实际上你也可以把它 简单理解
详解布隆过滤器的原理、使用场景和注意事项
旧时光 | YoungChen's 博客
08-29 5247
今天碰到个业务，他的 Redis 集群有个大 Value 用途是作为布隆过滤器，但沟通的时候被小怼了一下，意思大概是 “布隆过滤器原理都不懂，还要我优化？”。技术菜被人怼认了、怪不得别人，自己之前确实只是听说过这个，但是没深入了解过，趁这个机会补充一下知识。 在进入正文之前，之前看到的有句话我觉得说得很好： Data structures are nothing different. T...
【Redis】布隆过滤器
m0_64210833的博客
08-23 950
redis只能缓存一部分数据，数据不在redis有可能在数据库，布隆过滤器保存了全部的数据，数据不在布隆过滤器就大概率（因为会有误差率-但是过滤了一遍，布隆过滤器里面没有的，数据库一定没有。）不在数据库。这样当有大量不在数据库里的查询时就不用再查数据库了，没有布隆过滤器的话就是先查redis再查数据库，但是这些数据都不在数据库里，所以每次都要查数据库，这种情况相当于缓存失效了，所以叫缓存穿透。
大量数据去重：Bitmap和布隆过滤器(Bloom Filter)
热门推荐
zdxiq000的专栏
02-27 6万+
5TB的硬盘上放满了数据，请写一个算法将这些数据进行排重。如果这些数据是一些32bit大小的数据该如何解决？如果是64bit的呢？ 在面试时遇到的问题，问题的解决方案十分典型，但对于海量数据处理接触少的同学可能一时也想不到什么好方案。介绍两个算法，对于空间的利用到达了一种极致，那就是Bitmap和布隆过滤器(Bloom Filter)。
大白话 强大的布隆过滤器算法-极大降低存储空间
扎克begod的专栏
10-08 4211
     “宁可错杀三千，绝不放过一个”，这是布隆过滤器的失误类型金句。 1、什么是布隆过滤器        了解熟悉布隆过滤器，先从了解hash函数开始。最简单说，一个数据经过hash函数计算后，会得到另一个输出值。hash函数能给你的保证就是，相同的输入值，经过计算后，一定得到相同的输出值。但是不给你保证不同的输入值，会得到不同的输出值。梳理一下，hash函数的规则如下：        ...
布隆过滤器的用法
军军的博客
10-20 1018
guava里的布隆过滤器，需要实现Funnel接口，我往里面方的是BigInteger对象。 import com.google.common.hash.BloomFilter; import com.google.common.hash.Funnel; import com.google.common.hash.PrimitiveSink; import java.math.BigInteg
springboot 实现布隆过滤器防止黑客攻击
weixin_43748936的博客
11-27 833
问题：黑客拿不存在的id请求后端接口，在redis数据库中找不到该id的信息则会去mysql数据库中查询。如果黑客发起大量请求请求数据库是会导致缓存击穿，从而使服务瘫痪。 解决办法：使用布隆过滤器。 布隆过滤器的优点： 1.简单好用。 2.存储量小，几千万个id可能所占用的内存为几兆到几十兆，如果使用常规的数据库来保存的话可能需要几百G到上T的存储空间。 3.查询速度快。 1.将存在的id放入布隆过滤器中。 2.在通过id查询数据的接口中加入该id是否存在于布隆过滤器中，如果不存在则说明该id在数据库中没
如何在springboot项目中redis使用布隆过滤器防止缓存穿透
weixin_43748936的博客
11-27 1654
上一篇博客讲到了布隆过滤器在java中的应用，这一篇说 如何在springboot项目中redis使用布隆过滤器防止缓存穿透。 先引入依赖 <!--使用Redis--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis&
SpringBoot+Redis布隆过滤器防恶意流量击穿缓存的正确姿势
lifetragedy的专栏
01-13 2万+
什么是恶意流量穿透 假设我们的Redis里存有一组用户的注册email，以email作为Key存在，同时它对应着DB里的User表的部分字段。 一般来说，一个合理的请求过来我们会先在Redis里判断这个用户是否是会员，因为从缓存里读数据返回快。如果这个会员在缓存中不存在那么我们会去DB中查询一下。 现在试想，有千万个不同IP的请求（不要以为没有，我们就在2018年和2019年碰到了，因为...
%生成高斯谱杂波 xxi=conv(b,xi); %卷积和多项式乘法 xxq=conv(b,xq); xxi=xxi(coe_num*2+1:azi_num+coe_num*2);%目的是去掉暂态响应 xxq=xxq(coe_num*2+1:azi_num+coe_num*2); xisigmac=std(xxi); %标准差 ximuc=mean(xxi); %数组的均值 yyi=(xxi-ximuc)/xisigmac; %标准分数 xqsigmac=std(xxq); xqmuc=mean(xxq); yyq=(xxq-xqmuc)/xqsigmac; %归一化
最新发布
06-08
这段代码的作用是生成高斯白噪声，并将其滤波。具体地，代码中使用了滤波器系数向量 `b` 对两个高斯白噪声信号 `xi` 和 `xq` 进行卷积，从而生成了滤波后的信号 `xxi` 和 `xxq`。然后，代码使用 `coe_num` 和 `azi_num` 变量将 `xxi` 和 `xxq` 中的暂态响应去掉，得到了滤波后的信号的主要部分。 接下来，代码计算了 `xxi` 的标准差和均值，并使用这两个值将 `xxi` 归一化得到 `yyi`。同样地，代码也计算了 `xxq` 的标准差和均值，并使用这两个值将 `xxq` 归一化得到 `yyq`。这个过程可以用来对信号进行预处理，以便在后续的处理中更好地处理信号的不同部分，提高信号处理的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值