redis的分布式布隆过滤器

最新推荐文章于 2024-09-10 21:44:14 发布
最新推荐文章于 2024-09-10 21:44:14 发布
阅读量865 收藏 16
点赞数 22
分类专栏： 程序员 文章标签： redis 分布式 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/erghtt/article/details/137364603
版权

实现原理就是我们需要一个很长的二进制数组（也叫向量）；在添加数据时，使用多个hash函数对key进行hash运算得到一个索引值（即二进制数组的索引值）

上图中，下面是很长的二进制数组，第二层就是多个hash函数，再上面就是数据。

上图中，每个数据经过多个hash函数计算，得到索引值，并把二进制数组对应的索引值那边设置为1，我们发现经过三次hash，就会在三个索引的地方设置为1，也就是代表此数据存在。

#布隆过滤器误差

空间占用

布隆过滤器的空间占用有一个简单的计算公式，但推导比较繁琐。布隆过滤器有两个参数，预计元素数量n，错误率f，公式得到两个输出，位数组长度L（即存储空间大小bit），hash函数的最佳数量k。

k = 0.7*(1/n)
f = 0.6185^(L/n)

最低0.47元/天 解锁文章
erghtt
关注
  • 22
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式布隆过滤器
daima_caigou的博客
11-24 1070
guava框架的问题 笔者曾经也想过，既然guava只是个框架，那为什么不包装成一个项目，把API封装在接口中对外提供服务呢？ 可是实际上，这种操作所带来的问题极多，解决起来，成本高的可怕，后面会做对比讲解。 redis的bitmap实现 bitmap是什么？ 【位图不是实际的数据类型，而是在String类型上定义的一组面向位的操作】 这句话很笼统，下面笔者详细解释一下这句话。 bitmap的核心API SETBIT key offset value GETBIT key offset B
基于Redis的分布式布隆过滤器
热门推荐
buren的博客
07-21 1万+
布隆算法是一个以牺牲一定的准确率来换取低内存消耗的过滤算法，可以实现大量数据的过滤、去重等操作。 本博客不讨论布隆算法的具体原理，如果想了解的可以查看这篇博客:布隆过滤器(Bloom Filter)详解 为了实现分布式过滤器，在这里使用了Redis，利用Redis的BitMap实现布隆过滤器的底层映射。 布隆过滤器的一个关键点就是如何根据预计插入量和可接受的错误率推导出合适的BIt数组长度和...
详解布隆过滤器原理、及分布式运用
Seky_fei的博客
06-04 1812
1.什么是布隆过滤器 布隆过滤器是一个叫“布隆”的人提出的，本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure）。它本身是一个很长的二进制向量，特点是高效地插入和查询，可以用来确定 “某一条数据一定不存在或者可能存在一个集合中”。 相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少(因为是个二进制的向量)，但是缺点是其返回的结果是概率性的，而不是确切的。 2.布隆过滤器数据结构 布隆过滤器是一个 bit 向量或者
Redis的布隆过滤器
西瓜游侠的博客
05-16 348
布隆过滤器可以理解为一个set，可以用来判断元素是否存在。会有一定的误判，但是通过调整布隆过滤器的参数，误判率可以控制在很小的范围。 Redis安装布隆过滤器 Redis中是通过插件的形式支持布隆过滤器的。 为了省去繁琐的安装，可以借助redislabs/rebloom镜像来学习。 [root@localhost ~]# docker pull redislabs/rebloom [root@localhost ~]# docker run -p 6379:6379 -d --name=my-redis-b
布隆过滤器(bloom filter)及php和redis实现布隆过滤器的方法
12-20
Redis的布隆过滤器模块提供了方便的操作接口，能够在分布式环境中有效地使用。 总结起来，布隆过滤器是一种高效的空间节省型数据结构，适用于大量数据的快速查找和去重，尤其在内存有限且误判可以接受的场景下。...
布隆过滤器，Guava实现布隆过滤器（本地内存），Redis实现布隆过滤器（分布式）
一个学习Java开发的老头
08-07 1638
利用布隆过滤器可以快速地解决项目中一些比较棘手的问题。如网页 URL 去重、垃圾邮件识别、大集合中重复元素的判断和缓存穿透等问题。不知道从什么时候开始，本来默默无闻的布隆过滤器一下子名声大噪，在面试中面试官问到怎么避免缓存穿透，你的第一反应可能就是布隆过滤器，缓存穿透=布隆过滤器成了标配；布隆过滤器（Bloom Filter）是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。
大厂五剑客之redis实战分布式缓存彻底解决方案—12—-布隆过滤器等
01-20
布隆过滤器和set和map是平级的，是判断一定不存在还是可能存在的数据结构。 key进来多个hash进行散列映射。 布隆过滤器：https://www.jianshu.com/p/2104d11ee0a2 ——————————————————01————...
redis 实现分布式布隆过滤器
08-27
Redis可以通过使用多个节点实现分布式布隆过滤器。布隆过滤器是一种快速且空间效率高的数据结构，用于检查一个元素是否存在于一个集合中。 下面是一种基本的实现思路： 1. 首先，需要将布隆过滤器的数据分散存储在...
Redis
最新发布
weixin_45939821的博客
09-10 243
〇、redis的几种数据类型 一、两种储存机制：RDB和AOF RDB： rdb是redis默认的存储机制； 触发规则后将内存数据存储到硬盘的dump.rdb文件中: save 900 1 save 300 10
Redis 常用命令总结
weixin_73869209的博客
09-05 962
以上就是这篇博客的主要内容了,大家多多理解,下一篇博客见!
Redis 实现原理或机制
Flying_Fish_roe的博客
09-07 1140
Redis 的高性能、高可用性和灵活性来自其精巧的实现原理和机制。通过高效的内存管理、灵活的数据结构、强大的持久化机制、主从复制和集群功能，Redis 能够满足各种复杂的应用场景需求。无论是在缓存、会话管理、还是分布式存储领域，Redis 都能够提供卓越的性能和稳定性。
KubeCon China 回顾｜快手的 100% 资源利用率提升：从裸机迁移大规模 Redis 到 Kubernetes
baidu_41642080的博客
09-10 833
本文分享了如何将大规模的 Redis 实例从裸机迁移到 Kubernetes 上来提高资源的利用率
Redis 集群高可用详解及配置
TYM121380的博客
09-04 1690
Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-value database)，是一个非关系型数据库Redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久性等功能。Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛。
Redis两种类型分区
Flying_Fish_roe的博客
09-07 1190
水平分区，也称为Sharding，是最常见的 Redis 分区方法。这种分区方法的核心思想是将 Redis 的**键值对（key-value pairs）**按照一定的规则（例如哈希函数）分散到不同的 Redis 节点上。每个 Redis 实例保存数据集的一个子集，而不是整个数据集。通过这种方式，Redis 集群可以存储和管理更多数据，并且能够更好地处理高并发请求。垂直分区（Vertical Partitioning），又称为功能分区，是一种根据数据的不同功能或逻辑，将数据拆分到不同的 Redis 实例上。
如何在在Java中操作Redis
几许的博客
09-07 1373
前面我们讲解了Redis的常用命令，这些命令是我们操作Redis的基础，那么我们在java程序中应该如何操作Redis呢？这就需要使用Redis的Java客户端，就如同我们使用JDBC操作MySQL数据库一样。JedisLettuceRedissonSpring 对 Redis 客户端进行了整合，提供了 Spring Data Redis，在Spring Boot项目中还提供了对应的Starter，即 spring-boot-starter-data-redis。
仿论坛项目--Redis，一站式高性能存储方案
weixin_52297290的博客
09-05 650
• Redis是一款基于键值对的NoSQL数据库，它的值支持多种数据结构：字符串(strings)、哈希(hashes)、列表(lists)、集合(sets)、有序集合(sorted sets)等。• Redis将所有的数据都存放在内存中，所以它的读写性能十分惊人。同时，Redis还可以将内存中的数据以快照或日志的形式保存到硬盘上，以保证数据的安全性。• Redis典型的应用场景包括：缓存、排行榜、计数器、社交网络、消息队列等。下载好之后，配置环境变量。
Redis的Java客户端
qq_63126439的博客
09-05 474
Jedis本身是线程不安全的，并且频繁的创建和销毁连接会有性能损耗，因此推荐大家使用Jedis连接池代替jedis的直连方式。支持基于JDK、JSON、字符串、Spring对象的数据序列化及反序列化。提供了对不同Redis客户端的整合(Lettuce和Jedis)提供了RedisTemplate统一API来操作Redis。支持基于Redis的IDKCollection实现。支持Redis哨兵和Redis集群。支持基于Lettuce的响应式编程。支持Redis的发布订阅模型。
redis的事务与管道有什么不同？
jkzyx123的博客
09-08 852
事务（MULTI/EXEC：适用于需要保证一系列命令的原子性和顺序性的场景，尤其是在并发情况下，可以确保一组命令不被其他客户端打断。管道（PIPELINE：主要用于提升性能，减少网络延迟，适合批量操作，但它不保证命令的原子性，也不具有隔离性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值