缓存淘汰算法系列(二)

最新推荐文章于 2024-04-06 10:23:18 发布
最新推荐文章于 2024-04-06 10:23:18 发布
阅读量152 收藏
点赞数
文章标签： 数据库 数据结构与算法
原文链接：http://www.cnblogs.com/junyuhuang/p/5993612.html
版权

一、前言

　　接着上篇文章，这次继续介绍缓存算法。

 

二、Clock

　　1、算法思想

　　　　尽管上文介绍的Second-chance算法是一个合理的算法，但是它并不是很高效，因为它频繁需要把对象插入到队列尾部，要知道位移也是很耗时的。而更高效的算法Clock，采用的是一个循环链表，有一个指针指向最早的对象，且每个缓存中的对象都维护一个标记位。

　　2、工作原理

　　* 当待缓存对象在缓存中时，无论该对象标记位为0还是1，都设置为1(被使用)。同时，指针指向该对象的下一个对象。

　　*若不在缓存中时，检查指针指向对象的标记位。如果是0，则用待缓存对象替换该对象；如果是1，则置为0，指针指向下一个对象。如此直到淘汰一个对象为止。

 

三、Gclock(Generalized clock page replacement algorithm)

　　1、算法思想

　　　　该算法是Clock的变种。相对于Clock标志位采用的是二进制0和1表示，Gclock的标志位采用的是一个整数，意味着理论上可以一直增加到无穷大。

　　2、工作原理

　　* 当待缓存对象在缓存中时，把其标记位的值加1。同时，指针指向该对象的下一个对象。

　　*若不在缓存中时，检查指针指向对象的标记位。如果是0，则用待缓存对象替换该对象；否则，把标记位的值减1，指针指向下一个对象。如此直到淘汰一个对象为止。由于标记位的值允许大于1，所以指针可能循环多遍才淘汰一个对象。

　　

 四、WSclock(Working set clock page replacement algorithm)

　　1、算法思想

　　　　该算法同样是clock的变种，可能是实际运用最广泛的算法。它采用clock的原理，是ws算法(不懂的朋友可以阅读ws算法)的增强版。算法数据结构为循环链表，每个缓存对象保存了"最近使用的时间"rt和"是否引用"的R标志位,使用一个周期计时器t。age表示为当前时间和rt的差值

　　2、工作原理

　　*当待缓存对象存在缓存中时，更新rt为当前时间。同时，指针指向该对象的下一个对象。

　　*若不存在于缓存中时，如果缓存没满，则更新指针指向位置的rt为当前时间,R为1。同时，指针指向下一个对象。如果满了，则需要淘汰一个对象。检查指针指向的对象，

　　(1)R为1，说明对象在working set中，则重置R为0，指针指向下一个对象。

　　(2)R为0。如果age大于t，说明对象不在working set中，则替换该对象，并置R为1，rt为当前时间。如果age不大于t，则继续寻找淘汰对象。如果回到指针开始的位置，还未寻找到淘汰对象，则淘汰遇到的第一个R为0的对象。

 

五、LRU-K算法

　　1、算法思想

　　LRU-K中的K代表最近使用的次数，因此LRU可以认为是LRU-1。LRU-K的主要目的是为了解决LRU算法“缓存污染”的问题，其核心思想是将“最近使用过1次”的判断标准扩展为“最近使用过K次”。

　　2、工作原理

　　相比LRU，LRU-K需要多维护一个队列，用于记录所有缓存数据被访问的历史。只有当数据的访问次数达到K次的时候，才将数据放入缓存。当需要淘汰数据时，LRU-K会淘汰第K次访问时间距当前时间最大的数据。详细实现如下

　　 

　　(1). 数据第一次被访问，加入到访问历史列表；

　　(2). 如果数据在访问历史列表里后没有达到K次访问，则按照一定规则（FIFO，LRU）淘汰；

　　(3). 当访问历史队列中的数据访问次数达到K次后，将数据索引从历史队列删除，将数据移到缓存队列中，并缓存此数据，缓存队列重新按照时间排序；

　　(4). 缓存数据队列中被再次访问后，重新排序；

　　(5). 需要淘汰数据时，淘汰缓存队列中排在末尾的数据，即：淘汰“倒数第K次访问离现在最久”的数据。

　　LRU-K具有LRU的优点，同时能够避免LRU的缺点，实际应用中LRU-2是综合各种因素后最优的选择，LRU-3或者更大的K值命中率会高，但适应性差，需要大量的数据访问才能将历史访问记录清除掉。

 

六、Two queues（2Q）

　　1、算法思想

　　该算法类似于LRU-2，不同点在于2Q将LRU-2算法中的访问历史队列（注意这不是缓存数据的）改为一个FIFO缓存队列，即：2Q算法有两个缓存队列，一个是FIFO队列，一个是LRU队列。

　　2、工作原理

　　当数据第一次访问时，2Q算法将数据缓存在FIFO队列里面，当数据第二次被访问时，则将数据从FIFO队列移到LRU队列里面，两个队列各自按照自己的方法淘汰数据。详细实现如下：

 　　

　　

　　(1). 新访问的数据插入到FIFO队列；

　　(2). 如果数据在FIFO队列中一直没有被再次访问，则最终按照FIFO规则淘汰；

　　(3). 如果数据在FIFO队列中被再次访问，则将数据移到LRU队列头部；

　　(4). 如果数据在LRU队列再次被访问，则将数据移到LRU队列头部；

　　(5). LRU队列淘汰末尾的数据。

　　该算法还有完整版的，具体可参考最后一篇论文

 

七、参考文献

　　The Clock Page Replacement Algorithm 

　　Clock page replacement algorithm - Already existing pages

　　Page replacement algorithm

　　Generalized clock page replacement algorithm

　　
　　　　
　　
　　
 
　　

转载于:https://www.cnblogs.com/junyuhuang/p/5993612.html

weixin_30347009
关注
常见的页面置换算法概述 OPT、FIFO、SCR、CLOCK、改进型CLOCK
txcjhaw的博客
11-18 3861
最佳页面置换算法 OPT算法 最佳页面置换算法是Belady于1966年提出的一种理论上的算法。是一种保证最少的缺页率的理想化算法。 算法描述 输入页面号引用串： 如果页框中的某个页面P以后永不使用，则该页面为淘汰页面Pt。 如果每个P都会再次被访问，那么其中最长未来时间内不再被访问的页面为淘汰页面Pt。 先进先出页面置换算法 FIFO算法 算法描述 优先淘汰最早进入内存的页面，亦即在内存中...
web技术分享| LRU 缓存淘汰算法
anyRTC的博客
11-23 1466
了解 LRU 之前，我们应该了解一下缓存，大家都知道计算机具有缓存内存，可以临时存储最常用的数据，当缓存数据超过一定大小时，系统会进行回收，以便释放出空间来缓存新的数据，但从系统中检索数据的成本比较高。 缓存要求： 固定大小：缓存需要有一些限制来限制内存使用。 快速访问：缓存插入和查找操作应该很快，最好是 O(1) 时间。 在达到内存限制的情况下替换条目：缓存应该具有有效的算法来在内存已满时驱逐条目 如果提供一个缓存替换算法来辅助管理，按照设定的内存大小，删除最少使用的数据，在系统回收之前主动释放出空间
java 从零开始手写 redis（11）clock时钟淘汰算法详解及实现
10-07 2395
前言 java从零手写实现redis（一）如何实现固定大小的缓存？ java从零手写实现redis（三）redis expire 过期原理 java从零手写实现redis（三）内存数据如何重启不丢失？ java从零手写实现redis（四）添加监听器 java从零手写实现redis（五）过期策略的另一种实现思路 java从零手写实现redis（六）AOF 持久化原理详解及实现 java从零开始手写 redis（七）LRU 缓存淘汰策略详解 前面我们实现了 FIFO/LRU/LFU 等常见的淘汰策略，不过在操作
操作系统-页面置换算法
最新发布
javashitu的博客
04-06 960
上面介绍了很多的算法，实际上这些算法并不是独立存在的，在操作系统里是多个算法互相配合完成页面置换。我们对他们做个总结。
缓存替换策略：LRU-K算法详解及其C++实现 CMU15-445 Project#1
热门推荐
AntiO2的博客
12-27 1万+
LRU-K是对LRU算法的改进，规避了一些访问上实际的问题，同时带来的额外开销也是可以接受的，是一个值得学习的算法。
各种CLOCK算法
已迁移至 https://seekstar.github.io/
10-14 3451
这篇文章的背景是操作系统里的页缓冲。 LRU要求每次访问某个页的时候都进入trap，由操作系统把这个页放到栈顶。显然这是不能接受的。 所以一般采用CLOCK算法或者其变种，其特点是在hit的时候，只需要由硬件执行一个很简单的操作（通常是设置访问位），把这次访问记录下来即可。然后在合适的时机，由操作系统去看这些访问记录，把冷的页替换掉。 朴素CLOCK算法 一圈页，一个指针指向某页，要替换某页时，看指向的那页的访问位是不是1，如果不是就将这页替换掉，如果是则置0，然后移到下一页继续看。 GCLOCK 论文：
常用的缓存淘汰算法.pdf
12-23
缓存淘汰算法 缓存淘汰算法是指令的一个明细表，用于决定缓存系统中哪些数据应该被删去。缓存淘汰算法是指缓存系统中删去不需要的数据，以释放缓存空间的算法。常见的缓存淘汰算法有LFU、LRU、ARC、FIFO、MRU等。 ...
缓存淘汰算法（LRU）
Arlssaze的博客
11-16 3065
1. LRU 1.1. 原理 LRU（Least recently used，最近最少使用）算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。 1.2. 实现 最常见的实现是使用一个链表保存缓存数据，详细算法实现如下： \1. 新数据插入到链表头部； \2. 每当缓存命中（即缓存数据被访问），则将数据移到链表头部； \3. 当链表满的时候，将链表尾部的数据丢弃。 1.3. 分析 【命中率】 当存在热点数据时，LRU的效率很好，但
缓存淘汰算法之LRU
05-05
缓存淘汰算法之 LRU 缓存淘汰算法是指在计算机系统中，为了提高缓存命中率和减少缓存 pollution 而采用的算法。其中，LRU（Least Recently Used，最近最少使用）算法是一种常用的缓存淘汰算法。 1. LRU 算法原理 ...
工程师必须了解的LRU缓存淘汰算法以及python实现过程
12-16
大家好，欢迎大家来到算法数据结构专题，今天...早年这块存储被称为高速缓存，最近已经听不到这个词了，不知道是不是淘汰了。因为缓存的读写速度要高于CPU低于主存，所以是用来过渡数据用的。CPU从缓存当中读取数据，
LRU-K和2Q缓存算法介绍
weixin_44389885的博客
05-27 2091
一、LRU-K算法 1、算法思想 LRU-K中的K代表最近使用的次数，因此LRU可以认为是LRU-1。LRU-K的主要目的是为了解决LRU算法“缓存污染”的问题，其核心思想是将“最近使用过1次”的判断标准扩展为“最近使用过K次”。 2、工作原理 相比LRU，LRU-K需要多维护一个队列，用于记录所有缓存数据被访问的历史。只有当数据的访问次数达到K次的时候，...
《modern operating system》 chapter 3 MEMORY MANAGEMENT 笔记
Jason Leaster | Rebuilding the tower of babel
05-03 6024
Over the years, people discovered the concept of a memory hierarchy,
数据库的一些论文的个人整理
PunC的专栏
07-12 4978
数据库架构相关 Architecture of a Database System. Joseph M. Hellerstein, Michael Stonebraker and James Hamilton     图灵奖获得者Michael Stonebraker的论文之一，具体介绍了数据库的架构以及相关理论和主流数据库的具体做法。 启发：     对于已经阅读过基础的数据库教材的
数据缓存策略 缓存淘汰算法系列 Second-chance FIFO NRU LRU LRU-K Clock Gclock WSclock Two queues
huizai的博客
11-01 4662
前言 　　缓存算法历史已经很久了，但在楼主查询相关资料时，发现知识零碎，且原理介绍的很不详细，遂有了总结常用缓存算法文章的想法，以供广大朋友们查阅。本文是缓存系列的第一篇，知识侧重于初略的介绍，并未深入。   一、Second-chance 　　1、算法思想 　　　　这是FIFO算法的改进版，相对于FIFO算法立刻淘汰对象，该算法会检查待淘汰对象的引用标志位。如果对象被引用过，该对象引用...
操作系统原理OS复习总结
Xiaobaiforgod的博客
10-27 1627
操作系统复习总结1. 进程管理1.1 进程 process1.2 线程 threads1.3 调度 scheduling1.4 竞争条件，PV与信号量1.5 进程间通信1.6 死锁 deadlocks1.7 补充2. 内存管理 memory management2.1 概述2.2 分区2.3 分页 paging2.4 分段 segmentation2.5 页面置换算法 page replacement2.6 补充3. 存储管理 storage management3.1 文件与目录 files and di
Web Cache替换算法分析(一)
larryliuqing的专栏-xxx
06-21 1097
http://blog.chinaunix.net/uid-23242010-id-147401.html 对于一个高性能服务器软件来说，cache层的设计好坏直接影响着系统性能。       web caching与传统操作系统中cache的区别：       (1)HTTP协议支持整个文件的传输，因此一个web cache只有缓存了整个文件才能满足用户的请求。       (2)在we
大数据算法课程笔记8a：page replacement algorithm
silent56_th的博客
11-06 2361
本节课主要是介绍page replacement algorithm的相关算法，包括offline和online。1. 问题简介这个是体系结构里面的经典问题，内存小、硬盘大，内存快、硬盘慢。所以CPU从内存中读取数据，而内存从硬盘中读取数据。那我们希望内存读取硬盘的次数尽量减少，这样可以减少程序的运行时间，而减少次数的算法主要依赖于page replacement algorithm。所谓page
[数据结构]链表(一)
新一的技术笔记
06-04 140
前言： 认真脸（dk要认真的写算法。！TAT 说道链表，应该搞清java或者一些框架中链表使用的场景。 比如，LRU淘汰算法 (LRU比如在redis存满了，线程池存满了都会用到LRU淘汰算法。常见的策略有三种：先进先出策略 FIFO（First In，First Out）、最少使用策略 LFU（Least Frequently Used）、最近最少使用策略 LRU（Least Recently Used）。) 要搞清链表与数组的区别，链表的常见算法题，好处等等。 一 链表的基础知识 1.链表
Working Set缓存算法(转)
weixin_30488313的博客
11-13 288
为了加深对缓存算法的理解，特转此篇，又由于本文内容过多，故不做翻译，原文地址Working Set页面置换算法 In the purest form of paging, processes are started up with none of their pages in memory. As soon as the CPU tries to fetch the first ...
探索五种常见的缓存淘汰算法：LFU、LRU、ARC、FIFO与MRU
"本文档深入探讨了计算机系统中常见的几种缓存淘汰算法，包括最不经常使用算法(LFU)，最近最少使用算法(LRU)，自适应缓存替换算法(ARC)，先进先出算法(FIFO)，以及最近最常使用算法(MRU)。这些算法在设计缓存策略时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值