缓存淘汰算法

已于 2023-12-30 21:19:55 修改
阅读量470 收藏 7
点赞数 7
文章标签： 缓存
于 2023-12-16 21:21:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37862824/article/details/135037432
版权

一、SLRU

在这里插入图片描述
可以这么理解：先进入淘汰段，淘汰段也是一个LRU算法，当淘汰段满了，移除最早进来的，如果有重复的就会进入保护段，当保护段满了，进了新的元素，会吧数据挤到淘汰段里面去。

二、近似计数器

在这里插入图片描述
在这里插入图片描述

对一个数进行多次Hash运行，得到对应的下标位置，然后将下标位置加1，当统计某个key的出现次数时，只需要找到他所有的下标位置所对应的数，取出最小的那一个。

在这里插入图片描述

三、window-Tiny-LFU

在这里插入图片描述
在这里插入图片描述
元素先进入窗口缓存，窗口缓存数据比较少，使用LRU，被挤出的元素，和淘汰段LRU的元素比对，怎么比对，从LRU最容易淘汰的元素比较，然后找到这个元素在布隆过滤最少的数值，对比。如果输了，就淘汰，赢了，就进入淘汰段。

在这里插入图片描述

在这里插入图片描述

web技术分享| LRU 缓存淘汰算法
anyRTC的博客
11-23 1532
了解 LRU 之前，我们应该了解一下缓存，大家都知道计算机具有缓存内存，可以临时存储最常用的数据，当缓存数据超过一定大小时，系统会进行回收，以便释放出空间来缓存新的数据，但从系统中检索数据的成本比较高。 缓存要求： 固定大小：缓存需要有一些限制来限制内存使用。 快速访问：缓存插入和查找操作应该很快，最好是 O(1) 时间。 在达到内存限制的情况下替换条目：缓存应该具有有效的算法来在内存已满时驱逐条目 如果提供一个缓存替换算法来辅助管理，按照设定的内存大小，删除最少使用的数据，在系统回收之前主动释放出空间
聊聊Redis中缓存淘汰算法的实现
禅与计算机程序设计的艺术
07-02 688
的核心实现，可以看到其内部会检查当前使用的内存并查看是否超过最大内存上限，如果超过了则根据策略定位数据，则进入循环每次淘汰一批元素直到内存空间充裕为止，以笔者为例配置的是。通过上文的解析我们了解redis缓存淘汰算法的基本设计思路，我们不妨通过源码的方式加以印证，当调用set等指令添加新的键值对的时候，redis就会给这个键值对的。因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注。
缓存算法-FIFO/LRU/LFU/W-TinyLFU
l_dongyang的博客
09-19 4517
一、概况 《Caffeine入门使用》一文中介绍了当下性能比较好且正在流行的缓存组件Caffeine Cache，一个缓存组件是否好用，其中一个重要的指标就是他的缓存命中率，而命中率又和缓存组件本身的缓存数据淘汰算法息息相关的，本文意在讲解一些业界内常见的页面置换算法，以及在详细的介绍下Caffeine Cache的W-TinyLFU算法，以便于更好的理解缓存组件。 二、讲解 2.1 FIFO FIFO（First in First out）先进先出。可以理解为是一种队列的实现 算法：最先进来的数据，被认为
Caffeine的Window TinyLfu算法分析
snail-jie的博客
06-17 1834
概括 通过put操作将数据放入data属性中（ConcurrentHashMap） 创建AddTask任务，放入(offer)写缓存：writeBuffer 从writeBuffer中获取任务，并执行其run方法,追加记录频率：frequencySketch().increment(key) 往window区写入数据 W-TinyLFU 整体设计 本部分参考了泥瓦匠BYSocket的文章，文章链接：https://jishuin.proginn.com/p/763bfbd358a0 判断一个缓存的好坏
【Caffeine缓存】Caffeine缓存淘汰算法Window-TinyLFU详解
Sihang_Xie的博客
02-07 4447
Caffeine的缓存淘汰策略是什么？Window-TinyLFU算法的原理是什么？是如何工作的？看完本文，相信你会得到答案。
LFU LRU和TinyLFU
define_us的专栏
01-16 858
LFU Least Frequently Used。在数据访问随时间概率不变时，这种缓存的命中率是最高的。而且LFU的成本也是最高的。 LRU 依赖于“时间局部性”的一种替代LFU的缓存方案叫做LRU，LRU中最近被访问的数据项都会被插入缓存，而当缓存满时，最久未被访问的会被淘汰。相比于LFU，LRU的性能会更高，而且自动适应数据的时间局部性，并且可以应对数据的突发流量。但是在实际的场景中，LRU需要更大的缓存空间，才能和LFU达到相同的缓存命中率。 LRU的典型实现如下 对于访问的节点，移送到/建立在
缓存淘汰策略看完这篇就够了
yh4494的博客
03-05 1977
LFU 算法是一种常用的缓存淘汰算法，具有简单易行、公平性等优点。但是，LFU 算法也存在不准确、空间复杂度高等缺点。在实际应用中，可以根据具体的应用场景选择合适的缓存淘汰算法。LRU 算法是一种常用的缓存淘汰算法，具有简单易行、有效性等优点。但是，LRU 算法也存在不公平性、空间复杂度高等缺点。在实际应用中，可以根据具体的应用场景选择合适的缓存淘汰算法。LRU 算法可以用链表或哈希表来实现。LRU 算法可以与其他缓存淘汰算法结合使用，例如 LFU 算法。
常用的缓存淘汰算法.pdf
12-23
缓存淘汰算法 缓存淘汰算法是指令的一个明细表，用于决定缓存系统中哪些数据应该被删去。缓存淘汰算法是指缓存系统中删去不需要的数据，以释放缓存空间的算法。常见的缓存淘汰算法有LFU、LRU、ARC、FIFO、MRU等。 ...
LRU 缓存淘汰算法（C++实现）
03-15
LRU缓存淘汰算法是一种广泛应用于计算机科学领域中的内存管理算法，它的主要作用是在有限的存储空间中，通过淘汰长期未被访问的数据来为新数据腾出空间。LRU即Least Recently Used，意为“最近最少使用”，这种算法...
链表（上）：如何实现LRU缓存淘汰算法.pdf
06-19
### 链表在LRU缓存淘汰算法中的应用 #### LRU缓存淘汰算法简介 LRU（Least Recently Used，最近最少使用）缓存淘汰算法是一种常用的缓存管理策略，用于解决缓存空间有限的问题。当缓存满了并且新的数据需要加入缓存...
TinyLFU: A Highly Efficient Cache Admission Policy
01-16 1098
缓存是计算机科学中可以提高系统性能的最基本、最有效的一种方法之一。当完整的数据不适合全部缓存时，通过将一小部分数据存放到更快、更接近应用程序的内存中来提高性能。缓存可以提高性能的最直观原因在于数据的访问都表现出相当程度的“局部性”。更正式的表征这种“局部性”的方式，是通过概率分布来描述所有可能的数据项访问频率，在许多计算机科学的领域内，这种概率都表现出高度偏斜，也就是说少数的数据项会比其他数据项更可能被访问。并且在非常多的场景中，访问模式和概率分布会随着时间而变化，这种现象被称为“时间局部性”。 当访问一
架构师必备：本地缓存原理和应用
Java烘焙师
02-28 885
先说结论：本地缓存优先选用caffeine，因为性能比guava cache快，api风格与之兼容、能轻松地平滑迁移，并且在spring/spring boot最新版本中已经是默认本地缓存了。下面展开讲讲本地缓存和Spring cache。 本文讨论堆内缓存，暂不讨论堆外缓存。堆内缓存是指缓存与应用程序在一个JVM应用中，会受GC影响，一般业务层面的应用开发用不到堆外缓存。 1、什么场景使用本地缓存 并非所有的缓存场景，redis都适用，以下情况应当优先考虑本地缓存。 数据量不大 修改频率低、甚至是静态的
Caffeine 驱逐算法
l_dongyang的博客
03-13 1961
概况 在《Caffeine入门使用》一文中讲解了Caffeine基本使用方法以及功能分类描述和使用示例，在会使用以及了解使用模式的背景下，在《Caffeine基础源码解析》文中对caffeine的主流程进行源码分析，从原理看下Caffeine的设计和实现，从会使用到深理解，本文是Caffeine学习的最后一部分，也是它最重要的一部分，驱逐算法的实现，即W-TinyLFU算法在Caffeine中的实现。 算法 对于缓存组件，驱逐算法基本是标配，它是直接影响缓存组件命中率的重要因素，无论是基于服务的Redis组
caffeine---window-TinyLFU算法
zouke314的博客
09-23 719
解决的问题： 1、对于突发流量，需要有比较友好的机制应对，不能将新进来的数据淘汰 2、对于访问频次不高的数据需要淘汰 3、对于早期访问频次高，而后来几乎不访问的高频次无效数据，需要淘汰 4、对于内存占用尽量减小 tinyLFU的体系结构如下图所示，当有新数据插入时，缓存淘汰策略选定一个候选淘汰数据项，tinyLFU来决定是否用新的数据项来代替候选被淘汰数据项，来增加缓存命中率。 因此，tinyLFU需要维护相当长的一段历史时期内数据项访问的频率统计信息。维护这一份数据的代价是相当昂贵的，所以
w-tinyLFU
qq_25622107的博客
08-23 4014
缓存设计是个基础架构领域里的重要话题，本号之前也有谈论过相关话题，点击原文可以看之前的介绍。   近日，HighScalability网站刊登了一篇文章，由前Google工程师发明的W-TinyLFU——一种现代的缓存。那么，什么缓存设计能够被称作是“现代”的呢？   当数据的访问模式不随时间变化的时候，LFU的策略能够带来最佳的缓存命中率。然而LFU有两个缺点：首先，它需要给每个记录项维...
论文《TinyLFU: A Highly Ecient Cache Admission Policy》阅读笔记
weixin_34060741的博客
08-21 1002
1. Introduction LFU的局限： LFU实现需要维护大而复杂的元数据（频次统计数据等） 大多数实际工作负载中，访问频率随着时间的推移而发生根本变化（这是外卖业务不适合朴素LFU的根本原因） 针对LFU的问题，已经存在了一些LFU的替代或优化方案，例如WLFU（Window LFU）： 老化机制 限制采样为：最后W次访问...
LRU算法在MySQL/hbase/Caffeine 中的优化
刘本龙的专栏
11-27 1288
在上一篇文章中介绍了LRU的原理及实现，但是实际企业级应用中不会直接使用如此简单的LRU算法。本文看看各个优秀的中间件是如何优化LRU算法的。 mysql对LRU的优化 大家思考一个问题，在我前面讲到的算法实现中，每次访问的数据都会立刻移动到链表的尾端，这样是否是稳定可靠的？答案显然是否定的。实际的应用场景是比较复杂的，大家考虑这样一个场景，你的系统运行了一段时间，缓存都根据LRU算法正常运行，此时，有一个大的查询，数据量比较大，新查询出来的数据根据LRU算法会插入到队尾，此时缓存的数据超出了容量限制，将队
缓存控制HTTP标头设置为“无缓存、无存储、必须重新验证”
最新发布
番茄鸡蛋的专栏
06-04 551
对于安全内容，请确保缓存控制HTTP标头设置为“no-cache, no-store, must-revalidate”（无缓存、无存储、必须重新验证）。如果应该缓存资产，请考虑将指令设置为“public、max-age、imtable”。此配置适用于：登录页面、支付表单、实时数据等需要绝对最新内容的场景。操作系统：ubuntu server v24.04.2 amd64。，需组合多个响应头以实现严格缓存控制。直接添加全局中间件设置即可。日期：2025年6月4日。日期：2025年6月4日。
内网横向之RDP缓存利用
anquan2233的博客
06-03 536
RDP（远程桌面协议）在连接过程中会缓存凭据，尤其是在启用了 "保存密码" 或 "凭据管理器" 功能时。这个缓存的凭据通常是用于自动填充和简化后续连接的过程。凭据一般包含了用户的用户名和密码信息，或者是经过加密的身份验证令牌所以我们想登录这个rdp缓存，就是先找到凭证，再通过mimikatz来解密凭证，获取明文。
LRU缓存淘汰算法
03-27
### LRU缓存淘汰算法的实现与原理 #### 工作原理 LRU（Least Recently Used）缓存淘汰算法的核心思想是通过记录数据项的访问时间，优先保留最近被频繁访问的数据项，而淘汰那些长时间未被访问的数据项。这种策略基于一种假设：近期经常使用的数据在未来也更有可能被再次使用[^1]。 为了支持这一功能，通常需要维护两个主要结构： 1. **哈希表**：用于快速查找某个键是否存在以及其对应的值。 2. **双向链表**：用于按访问顺序排列节点，最新的访问放在头部，最久未访问的留在尾部。 每次访问一个数据项时，都会将其移动到链表头位置；当缓存达到容量上限并需新增数据时，则移除链表尾部的节点作为被淘汰的对象[^4]。 --- #### 实现方法 以下是 Python 中的一种典型实现方式： ```python from collections import OrderedDict class LRUCache: def __init__(self, capacity: int): self.cache = OrderedDict() # 使用有序字典模拟缓存 self.capacity = capacity # 定义最大容量 def get(self, key: int) -> int: if key not in self.cache: return -1 # 如果不存在该key，返回-1 else: self.cache.move_to_end(key) # 将访问过的key移到最后（表示最新） return self.cache[key] def put(self, key: int, value: int) -> None: if key in self.cache: self.cache.move_to_end(key) # 更新已有key的位置至最后 self.cache[key] = value # 插入新值 if len(self.cache) > self.capacity: self.cache.popitem(last=False) # 超过容量则删除最早加入的元素 ``` 上述代码利用 `OrderedDict` 来简化操作逻辑，其中 `move_to_end()` 方法负责调整访问频率较高的项目到队列前端，从而满足 LRU 的需求[^3]。 --- #### 运行流程分析 1. 初始化阶段定义好缓存的最大容量； 2. 对于读取请求 (`get`) ，若命中目标键值对，则更新此条目为“最近使用”，否则报告失败； 3. 针对写入命令 (`put`) ，先判断当前是否有重复录入情况发生——若有只需刷新对应数值即可完成任务；如果没有匹配成功的话再考虑是否超出限额限制，一旦突破界限便要驱逐掉那个距离现在最远的一笔交易记录以便腾出空间接纳新人进来[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

信仰_273993243

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值