布隆过滤器和LRU Cache的一些概念

最新推荐文章于 2021-11-25 13:50:57 发布
最新推荐文章于 2021-11-25 13:50:57 发布
阅读量161 收藏
点赞数
分类专栏： 算法与数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35655602/article/details/110499624
版权

一些关于布隆过滤器的参考链接

https://blog.csdn.net/tianyaleixiaowu/article/details/74721877
https://www.cnblogs.com/cpselvis/p/6265825.html
https://github.com/lovasoa/bloomfilter/blob/master/src/main/java/BloomFilter.java
https://github.com/Baqend/Orestes-Bloomfilter

布隆过滤器

将任意大小的数据转换成特定大小的数据的函数，转换后的数据称为哈希值或哈希编码。

在这里插入图片描述
HashTable + 拉链存储重复元素

布隆过滤器 VS hashTable

一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用来检索一个二元素是否在一个集合中。

优点是空间效率和查询时间都远远超过一般的算法
缺点是有一定的误识别率和删除困难

在这里插入图片描述
如果使用布隆过滤器算法，检测到B存在于布隆过滤器里面，则B元素可能存在；如果C有一个不存在布隆过滤器中，则C一定不存在于布隆过滤器中

布隆过滤器添加元素

	• 将要添加的元素给k个哈希函数
	• 得到对应于位数组上的k个位置
	• 将这k个位置设为1

布隆过滤器查询元素

	• 将要查询的元素给k个哈希函数
	• 得到对应于位数组上的k个位置
	• 如果k个位置有一个为0，则肯定不在集合中
	• 如果k个位置全部为1，则可能在集合中

如何判断一个元素是否存在一个集合中？
常规思路
• 数组
• 链表
• 树、平衡二叉树、Trie
• Map (红黑树)
• 哈希表

案例：
	1. 比特币网络
	2. 分布式系统（Map-Reduce） --hadoop、search engine
	3. Redis缓存
	4. 垃圾邮件、评论等的过滤

LRU cache

两个要素：大小、替换策略
Hash Table + Double LinkedList
O(1) 查询
O(1) 修改、更新

LRU cache的工作实例（最近被使用的元素）

在这里插入图片描述

yours_棒棒糖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RedisCache-master.zip
08-01
- **缓存穿透**：防止查询不存在的数据导致缓存失效，可以使用布隆过滤器预先判断。 - **缓存击穿**：大量并发请求同一已过期数据，可能导致数据库压力增大，需设置合理的过期时间或热点数据永不过期。 3. **...
算法学习第八周 位运算 布隆过滤器和LRU缓存 排序算法
执手画眉弯的博客
08-16 209
位运算 位运算符 含义 运算符 说明 按位或 1 双目，只要有一个为1则为1，否则为0 按位与 & 双目，两个都为1则为1，否则为0 按位取反 ~ 单目， 每位0变1，1变0 按位异或 ^ 双目，相同为0，不同为1 异或特点 相同为0， 不同为1，也可用“不进位加法”来理解。 x ^ 0 = x x ^ 1s = ~x //注意 1s = ~0 相当于每位都为1 x ^ (~x) = 1s x ^ x = 0 c = a ^ b => a ^ c = b ,
布隆过滤器和LRU缓存
Major_S的博客
06-01 346
一 布隆过滤器的实现及应用 二 LRUCache的实现、应用和题解
布隆过滤器实现方式Bloom Filter
m0_46189827的博客
09-11 255
方式一 (自定义) 在这里插入代码片 package com.cao.customerview.bloom; import java.math.BigInteger; import java.security.MessageDigest; import java.util.BitSet; /** * description: 自定义布隆过滤器来解决 缓存穿透问题 */ public class MyBoomFilter { //预期存储的数据量 private int n ;
面试官：如何从10亿数据中快速判断是否存在某一个元素？
lyh1023812的博客
11-25 494
面试官：如何从10亿数据中快速判断是否存在某一个元素？ 面试官：如何从10亿数据中快速判断是否存在某一个元素？ 前言 当 Redis 用作缓存时，其目的就是为了减少数据库访问频率，降低数据库压力，但是假如我们某些数据并不存在于 Redis 当中，那么请求还是会直接到达数据库，而一旦在同一时间大量缓存失效或者一个不存在缓存的请求被恶意攻击访问，这些都会导致数据库压力骤增，这又该如何防止呢？ 缓存雪崩 缓存雪崩指的是 Redis 当中的大量缓存在同一时间全部失效，而假如恰巧这一段时间同时又有大量请求被发起，那么
All-in-cache:缓存和处理序列化对象
05-29
为防止这些问题，可以使用布隆过滤器或者设置热点数据永不过期。 6. **缓存更新策略**：当数据库中的数据发生变化时，需要同步更新缓存。常见的更新策略有：缓存失效、缓存更新和双写一致性。 7. **安全性**：序列...
头歌计算机组成原理全相联cache设计
12-04
由于映射关系不再固定，所以需要更复杂的查找结构，如二叉树、布隆过滤器或关联数组等来存储和查找映射关系。 2. **替换策略**：当Cache已满，新数据要进入时，需要选择一个已有的数据块进行替换。常见的替换策略有...
cache设置缓存数据，可直接运行
10-12
为防止这些问题，可以采取如布隆过滤器、加锁机制、设置合理的过期时间和使用随机过期时间等策略。 综上所述，这个项目可能涵盖了Java缓存的基础知识，包括使用Spring Cache进行缓存管理，结合Redis作为后端缓存...
cache_fetcher
04-29
- **布隆过滤器**：用于检测一个元素是否可能存在于集合中，防止缓存穿透。 - **设置热点key永不过期**：避免缓存击穿。 - **限流和熔断机制**：当请求过多时，限制并发请求或暂时拒绝服务，保护数据库。 7. **...
pi_heif-0.17.0-cp39-cp39-manylinux_2_31_armv7l.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
ubuntu20.04-ssh9.8p1-ssl3.0.14-focal-deb-amd64升级加固脚本.zip
07-27
若有新版本请查看文章最后附件地址：https://blog.csdn.net/liuxin638507/article/details/132450367 特点： 1、同时升级openssh与openssl，采用deb包形式，一键快速升级版本，无需每台单独再次进行编译， 2、隐藏openssh-版本号(openssh9.8p1及之后隐藏版本号还未找到方法) 3、已默认安全加固（已有配置跳过） 安装： 执行 bash upgrade_ssl_ssh_ubuntu.sh 进行安装 注意，升级安装后，确保sshd服务正常，请新开终端进行验证测试 验证 openssl版本： openssl version OpenSSL 3.0.14 4 Jun 2024 (Library: OpenSSL 3.0.14 4 Jun 2024) openssh版本： ssh -V OpenSSH_9.8p1, OpenSSL 3.0.14 4 Jun 2024
avif-0.5.0-cp36-cp36m-manylinux1_i686.whl
07-27
python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！
教务管理系统-毕业设计.zip
07-27
教务管理系统-毕业设计.zip
pillow_jxl_plugin-1.2.5-cp39-none-win_amd64.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
pi_heif-0.17.0-cp38-cp38-win_amd64.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
[毕设]高效人事考勤管理系统.zip
07-27
[毕设]高效人事考勤管理系统
人力资源培训.HR如何与业务部门进行沟通.ppt
07-27
人力资源培训.HR如何与业务部门进行沟通.ppt
毕业设计：基于Springboot的健身俱乐部网站 PPT
07-27
随着社会发展，健身俱乐部的管理面临日益严峻的挑战。众多用户倾向于通过互联网获取信息，但健身相关信息繁杂且真伪难辨。为便于用户更有效地获取本健身俱乐部的管理信息，设计一个既安全又高效的官方网站显得尤为重要。 本文旨在打造一个安全、简洁的健身俱乐部网站，助力用户快速查找健身课程、健身器材、会员卡详情及新闻公告等信息，以解决当前健身俱乐部管理信息混乱、难以辨识的问题。该系统基于Spring Boot架构技术，运用Java编程语言与MySQL数据库进行开发设计。通过对健身俱乐部业务流程的深入分析，我们明确了其功能性和非功能性需求，并据此设计了包含个人用户、管理员和教练三大模块的健身俱乐部网站。 此系统不仅为用户提供了一个便捷实用的健身俱乐部在线平台，使他们能够迅速找到适合自己的健身俱乐部，还允许用户浏览健身课程和器材信息，并支持在线留言功能。同时，管理员可通过后台管理系统轻松管理用户和教练的信息，亦能发布在线留言，以便用户及时获取最新的健身课程信息。如此，用户便能安全、高效地获取健身俱乐部的管理信息。
pillow-10.4.0-pp310-pypy310_pp73-manylinux_2_17_aarch64.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
布隆过滤器概念和工作原理
06-21
布隆过滤器（Bloom Filter）是一种空间效率极高的概率型数据结构，用于检测一个元素是否在一个集合中。它利用了多个独立的哈希函数，将任意元素映射到多个位置，如果所有哈希函数对应的位置都标记为“存在”，那么...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值