缓存和缓存算法相关基本概念

最新推荐文章于 2024-05-30 10:00:06 发布
最新推荐文章于 2024-05-30 10:00:06 发布
阅读量1.3k 收藏 4
点赞数 1
分类专栏： 通用概念与算法与设计 文章标签： 缓存 缓存算法 LFU FRU FIFO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huitoukest/article/details/79916427
版权

什么是缓存 ？

缓存就是数据交换的缓冲区（称作Cache）。
大部分的缓存使用，是为了提高程序数据的处理速度或者说提高程序的响应速度。
当然也有小部分的缓存是基于寿命，性价比等原因。
我们主要讨论使用缓存提高程序数据的处理速度的实现，这样就要求缓存的速度是必须
大于原来数据的处理速度的。

缓存方式简单分类

数据的缓存可以简单的分为两类

  • 原始数据缓存
    不对需要的数据处理，即存储处理前的来源数据。例如：程序访问A+B等于几
    这里，程序直接从缓存中读取A和B的值，然后计算出结果。
    这样的缓存比较底层，主要是利用缓存速度更快的特性。
    现实中，一般利用内存速度远大于磁盘的速度的特性，使用内存作为数据缓存。
    原始数据的缓存如：
  • Mybatis一级缓存(SqlSession 层面进行缓存)；
  • Hibernate的一级缓Session级别的缓存存()和二级缓存(SessionFactory级别的缓存)
  • 手动对原始数据进行缓存，比如将数据字典存到redis中
  • 对结果数据缓存

例如：程序访问A+B等于几，我们直接换成A+B之后的结果，需要的时候直接取出。
这种缓存的方式因为省略了业务的处理过程，会提高此部分的速度。
对结果数据的缓存如：

  • Mybatis的二级缓存（同一个namespace下的Mapper的各个SqlSession 对象共享的缓存）

  • hibernate的查询缓存，它依赖于二级缓存

  • 手动对结果缓存，比如将结果存到redis中

  • mysql数据库的查询缓存

  • 注意

  1. 一般而言，结果缓存是依赖于对原始数据的缓存的，这样可以同时利用缓存的
    物理特性和业务特性。
  2. MyBatis中可以通过或者@CacheNamespaceRef来设置“共用”的Mapper缓存

缓存穿透

概念说明

一般的缓存系统，都是按照key去缓存查询，如果不存在对应的value，就应该去后端系统查找。缓存穿透是指查询key不存在的数据（不存在的key），会穿过缓存查询数据库。正常情况下缓存未命中时也会查询，但是高并发的情况下，会导致数据库的巨量查询，甚至压力过大而宕机。
例如：
如果将一个搜索网站的URL请求（包括参数）作为Key对搜索结果进行缓存。
因为用户输入的搜索参数经常变动，从而导致搜索的缓存结果命中率非常低，这就是常见缓存穿透问题。

解决方法

  1. 对查询结果为空的情况也进行缓存，缓存时间可以设置短一点。
  2. 缓存中存储此key是否存在过，如果确定不存在，则无需查询缓存与来源。
  3. 全量缓存，且过期时间很长，则当缓存未命中时亦无需访问db。

缓存雪崩

概念说明

缓存雪崩是指缓存失效后 到再次建立缓存的时间段内，程序大量访问原数据来源的现场。而由于原数据来源的速度慢，所以会导致业务处理阻塞，从而占用大量软硬件资源。
其特点时短时间内大量的缓存失效从而导致的数据库大量查询。

解决方法

  1. 查询db的过程可以考虑限流处理，例如同步或分布式锁来控制，防止短时间内的巨量失效
  2. 针对过期时间优化，减少短时间内大量失效的情况。比如尽量让多个缓存的失效时间点分开，降低多个缓存在同一时刻查询原数据来源的概率。

缓存击穿

概念说明

击穿不同于穿透，穿透是多个key的缓存未命中导致的海量db访问； 而击穿指单个key相同，但是并发高的情况下，同时访问缓存，而缓存恰好失效，从而导致海量访问db的情况。通常服务端未做分布式缓存优化情况下容易发生此问题。和缓存雪崩不同,击穿指的是单个key的过期访问情况。

一般缓存的建立过程如下：

获取缓存 //0.
if(缓存过期){  //1. 
  建立新缓存 //2.  
}
返回缓存数据 //4.

在单线程的情况下是不会出现的。
那么在多线程情况下，如果缓存过期，而大量线程运行到第2步，那么就会有大量的数据处理没有走缓存，就会引起缓存的击穿现象。

解决方法

解决的核心思想就是使0,1,2步奏保证“单线程”运行，以保证缓存的获取到建立过程和其余线程是互斥的。
对于单个缓存目前主流的解决方式有如下几种：

  • 队列实现，比如java的BlockingQueue
  • 加入语言自带的线程锁，比如java的synchronized锁
  • 手动实现互斥功能，比如java通过atomicInteger对线程计数，保证能入缓存获取-建立代码块的线程互斥
  • 缓存永不过期，而是用一个单独的线程来定时更新或者回调更新缓存的数据。
  • 缓存会过期，但是不由应用层来直接维护，而是用一个单独的线程来在缓存过期前对其自动更新。

对于多个缓存的处理：

  • 同样可以考虑限制多个缓存建立的线程数量来降低同一时刻访问原数据来源的并发数。

缓存预热

在程序启动时就将缓存数据加载到缓存中。

缓存污染

缓存污染是指将不常用的数据装载到缓存，降低了缓存效率的现象。

回源

缓存未命中，需要从原始数据源获取数据的操作。

缓存算法

FIFO

先入先出队列(First Input First Output，FIFO)这是一种按顺序来存入和淘汰缓存数据的算法，
算法有限淘汰更早时间存入缓存的数据。
FIFO淘汰算法基于的思想是”最近刚访问的，将来访问的可能性比较大”。

  • 实现
    利用一个双向链表保存数据，当来了新的数据之后便添加到链表末尾，如果Cache存满数据，
    则把链表头部数据删除，然后把新的数据添加到链表末尾。
  • 特点
    FIFO的实现简单，缓存的大小对其效率有很大影响。

LRU

LRU(least recently used，最近最少使用)算法根据数据的历史访问记录来进行淘汰数据，其核心思想
是“如果数据最近被访问过(1次)，那么将来被访问的几率也更高”。
所以当缓存的数量达到最大值时，会优先淘汰最近没有被访问的记录。
一般会同时限定缓存的最大存活时间，以同步/刷新缓存的数据。

  • 实现
    以链表实现为例：
  1. 新数据插入到链表头部；
  2. 每当缓存命中（即缓存数据被访问），则将数据移到链表头部；
  3. 当链表满的时候，将链表尾部的数据丢弃。
    java中最简单的LRU算法实现，就是利用jdk的LinkedHashMap，覆写其中的removeEldestEntry(Map.Entry)方法即可
    其方法默认返回false；put 和 putAll 时将调用此方法，自动移除"最少访问的数据"。
private static final int MAX_ENTRIES = 100; //默认最多100条缓存记录
protected boolean removeEldestEntry(Map.Entry eldest) {
    return size() > MAX_ENTRIES;
}
  • 特点：
    当存在热点数据时，LRU的效率很好，但偶发性的、周期性的批量操作会导致LRU命中率急剧
    下降，缓存污染情况比较严重。

LRU-K

LRU-K中的K代表最近使用的次数，因此LRU可以认为是LRU-1。
LRU-K的主要目的是为了解决LRU算法“缓存污染”的问题，其核心思想是将“最近使用过1次”的判断标准扩展
为“最近使用过K次”。

  • 实现
    相比LRU，LRU-K需要多维护一个队列，用于记录所有缓存数据被访问的历史。
    只有当数据的访问次数达到K次的时候，才将数据放入缓存。
    当需要淘汰数据时，未放入缓存队列的数据按照自定义规则（FIFO，LRU）淘汰数据；
    放入缓存的数据，LRU-K会淘汰第K次访问时间距当前时间最大的数据（即队列中排在末尾的数据）。

  • 特点
    LRU-K降低了“缓存污染”带来的问题，命中率比LRU要高。实际应用中LRU-2是综合各种因素后最优的选择，
    LRU-3或者更大的K值命中率会高，但适应性差，需要大量的数据访问才能将历史访问记录清除掉。
    由于LRU-K还需要记录那些被访问过、但还没有放入缓存的对象，因此内存消耗会比LRU要多；
    当数据量很大的时候，内存消耗会比较可观。
    LRU-K需要基于时间进行排序（可以需要淘汰时再排序，也可以即时排序），CPU消耗比LRU要高。

Two queues（2Q）

2Q算法有两个缓存队列，一个是FIFO队列，一个是LRU队列，用两个缓存队列来缓存数据。

  • 实现
    当数据第一次访问时，2Q算法将数据缓存在FIFO队列里面，当数据第二次被访问时，
    则将数据从FIFO队列移到LRU队列里面，两个队列各自按照自己的方法淘汰数据。

  • 特点
    2Q算法的命中率要高于LRU。2Q算法和LRU-2算法命中率类似，内存消耗也比较接近，
    但对于最后缓存的数据来说，2Q会减少一次从原始存储读取数据或者计算数据的操作。

Multi Queue（MQ）

MQ算法根据访问频率将数据划分为多个队列，不同的队列具有不同的访问优先级，
其核心思想是：优先缓存访问次数多的数据。
MQ算法将缓存划分为多个LRU队列，每个队列对应不同的访问优先级。
访问优先级是根据访问次数计算出来的

  • 实现

    1. 新插入的数据放入Q0；
    2. 每个队列按照LRU管理数据；
    3. 当数据的访问次数达到一定次数，需要提升优先级时，将数据从当前队列删除，加入到高一级队列的头部；
    4. 为了***防止高优先级数据永远不被淘汰***，当数据在指定的时间里访问没有被访问时，需要降低优先级
      将数据从当前队列删除，加入到低一级的队列头部；
    5. 需要淘汰数据时，从最低一级队列开始按照LRU淘汰；每个队列淘汰数据时，将数据从缓存中删除，
      将数据索引加入Q-history头部；
    6. 如果数据在Q-history中被重新访问，则重新计算其优先级，移到目标队列的头部；
    7. Q-history按照LRU淘汰数据的索引。

  • 特点
    MQ降低了“缓存污染”带来的问题，命中率比LRU要高。
    MQ需要维护多个队列，且需要维护每个数据的访问时间，复杂度比LRU高。
    MQ需要记录每个数据的访问时间，需要定时扫描所有队列，代价比LRU要高。
    注：虽然MQ的队列看起来数量比较多，但由于所有队列之和受限于缓存容量的大小，因此
    这里多个队列长度之和和一个LRU队列是一样的，因此队列扫描性能也相近。

LFU

（least frequently used ）是最近最不常用置换算法。
思想是“如果一个数据在最近一段时间内使用次数很少，那么在将来一段时间内被使用的可能性也很小”。

  • 实现
  1. 用一个数组存储缓存数据，用map存储每个数据项的缓存命中次数。
  2. 达到最大缓存数量时，淘汰访问频次最少的数据。
    也可以用两个map来存取数据。

ARC

自适应缓存替换算法(ARC)
在IBM Almaden研究中心开发，这个缓存算法同时跟踪记录LFU和LRU，以及驱逐缓存条目，
来获得可用缓存的最佳使用。
LFU和LRU的缓存数的总大小是固定的，ARC使它自己自适应于工作负载。
如果工作负载趋向于访问最近访问过的文件，将会有更多的命中发生在LRU 中，
也就是说这样会增加LRU的缓存空间。
反过来一样，如果工作负载趋向于访问最近频繁访问的文件，更多的命中将会发生在LFU中，
这样LFU的缓存空间将会增大。

ZFS ARC

在Solaris ZFS 中实现的ARC(Adjustable Replacement Cache)读缓存淘汰算法。

MRU

最近最常使用算法（MRU）
这个缓存算法最先移除最近最常使用的条目。
一个MRU算法擅长处理一个条目越久，越容易被访问的情况。

常见缓存速度

CPU寄存器 > CPU高速缓存Cache > 计算机主存（内存）> 硬盘

缓存高可用

业界有两种理论，第一套缓存就是缓存，临时存储数据的，不需要高可用。
第二种缓存逐步演化为重要的存储介质，需要做高可用。

  • 实现
    缓存的高可用，一般通过分布式和复制实现。
    分布式实现数据的海量缓存，复制实现缓存数据节点的高可用。
    分布式采用一致性Hash算法，复制采用异步复制或复制双写（同时向两个缓存节点写入数据
    ，只有两份都写成功，才算成功）。

文章参考

http://www.cnblogs.com/mushroom/p/4199701.html
http://flychao88.iteye.com/blog/1977653

且_听_风_吟
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
缓存、缓存算法和缓存框架简介.docx
08-14
在 IT 领域，缓存是一种重要的技术，用于提高应用程序的性能和响应速度。缓存的基本原理是将常用数据存储在高速、接近计算...因此，理解和掌握缓存的基本概念、算法以及如何选择合适的框架是每个IT专业人士必备的技能。
常用的缓存淘汰算法.pdf
12-23
3. 自适应缓存替换算法（ARC）：ARC缓存算法同时跟踪记录LFU和LRU，以及驱逐缓存条目，来获得可用缓存的最佳使用。ARC缓存淘汰算法可以较好地适应不同的缓存场景，且可以较好地解决缓存污染问题。 ARC缓存淘汰算法...
Federated Unlearning for On-Device Recommendation
hehehehejiejie的博客
01-10 994
本文主要介绍了一种名为FRU（Federated Recommendation Unlearning）的联邦学习框架，用于在设备端的推荐系统中实现用户数据的有效擦除和模型重建。FRU通过存储用户的历史更新并校准这些更新，实现了有效的用户数据擦除和模型重建，从而保护用户隐私并提高系统的安全性。文章提出了重要性基础的更新选择策略和一种新颖的负采样方法，以在资源受限的设备上高效存储历史更新。通过实验证明，FRU能够消除特定用户的影响，并以至少7倍的速度加快模型的恢复过程。
缓存算法（FIFO 、LRU、LFU三种算法的区别）
乐乐的博客
05-09 2616
1.FIFO算法 FIFO 算法是一种比较容易实现的算法。它的思想是先进先出（FIFO，队列），这是最简单、最公平的一种思想，即如果一个数据是最先进入的，那么可以认为在将来它被访问的可能性很小。空间满的时候，最先进入的数据会被最早置换（淘汰）掉。 FIFO 算法的描述：设计一种缓存结构，该结构在构造时确定大小，假设大小为 K，并有两个功能： set(key,value)：将记录(key,value)插入该结构。当缓存满时，将最先进入缓存的数据置换掉。 get(key)：返回key对应的value值。 实现：
推荐一款高效能缓存解决方案：arc
最新发布
gitblog_00018的博客
05-30 398
推荐一款高效能缓存解决方案：arc 项目地址:https://gitcode.com/alexanderGugel/arc 在软件开发中，缓存管理是性能优化的关键一环。今天我要向大家推荐一个基于Go语言的自适应替换缓存系统——arc，它将帮助你的应用实现更智能、低开销的缓存策略。 1、项目介绍 arc是一个实现 Adaptive Replacement Cache（ARC）算法的库。这个算法综合了...
有关缓存,缓存算法,缓存框架:part 4
xiaolang85的专栏
11-28 760
在这一部分中，我们来看看如何实现这些著名的缓存算法。以下的代码只是示例用的，如果你想自己实现缓存算法，可能自己还得加上一些额外的工作。 LeftOver机制 在 programmer one 阅读了文章之后，他接着看了文章的评论，其中有一篇评论提到了leftover机制——random cache。 Random Cache： 我是随机缓存，我随意的替换缓存实体，没人敢抱怨。你可以说那个被
mybatis ehcache二级缓存命中率为0的原因,以及一级缓存与二级缓存之间的顺序
reveire7的博客
10-17 2500
一级缓存针对SqlSession进行缓存 二级缓存针对mapper进行缓存,不管是不是相同的session,只要mapper的namespace相同,就会共享缓存 那么在同一个session下,执行同一个select语句时,Cache Hit Ratio [Mapper]: 0.0,耳机缓存的命中率为0那?这里要讲解一下二级缓存的缓存什么时候存入了:只有当当前的session.close()时...
缓存替换算法笔记 ——2Q
A=X+Y+Z
07-17 3382
参考资料 2Q: A Low Overhead High Performance Buffer Management Replacement Algorithm 算法描述 2Q: two queue(s) algorithm 应用最广泛的缓存替换算法应该是LRU了，其实现简单有效。但正是因为其简单，对于某些访问场景来说表现并不出色。LRU
c++实现的常见缓存算法和LRU
01-01
常见的缓存算法 LRU (Least recently used) 最近最少使用，如果数据最近被访问过，那么将来被访问的几率也更高。 LFU (Least frequently used) 最不经常使用，如果一个数据在最近一段时间内使用次数很少，
C++实现的LFU缓存算法
12-25
本算法为 C++ 实现的 LFU 缓存算法，数据结构为 2 个哈希表再加上 N 个双链表，实现了 get() 和 put() 两个操作，且所有操作的平均时间复杂度均可以控制在 O(1) 内。
c2_3_编码缓存基本限制_
10-02
这些代码可能包含了实现上述概念的具体算法，例如计算缓存策略、模拟用户请求和缓存命中情况等。 总的来说，编码缓存的基本限制研究是理解现代互联网服务优化的关键。通过理解和应用这些理论，我们可以设计出更高效...
FRU generate tool
10-31
生成FRU映像的linux版工具，C代码，可能需要根据机器进行重新编译。
FIFO、LRU、LFU的含义和原理
那些年的代码
01-16 417
FIFO：First In First Out，先进先出LRU：Least Recently Used，最近最少使用 LFU：Least Frequently Used，最不经常使用 以上三者都是缓存过期策略。 原理和实现： 一、FIFO按照“先进先出（FirstIn，FirstOut）”的原理淘汰数据，正好符合队列的特性，数据结构上使用队列Queue来实现。 如下图： 1....
LRU 和LFU 算法简单对比
萝卜头
09-21 1万+
why? when? what? 之前面试有问到 LRU 自己没好好准备没答好，现在发现自己竟然把 LRU 理解成了 LFU 呃… 每个算法都有自己的应用场景以及优缺点。各种缓存算法的核心区别在于它的淘汰机制。而这个淘汰机制主要参考这两个维度：最后被访问的时间和最近被访问的频率次数。 LRU(Least Recently Used ):淘汰最后被访问时间最久的元素。 缺点：可能会由于一次冷数...
FIFO 、LRU、LFU三种算法的区别
Riqk_Qin的专栏
12-09 5952
缓存算法（FIFO 、LRU、LFU三种算法的区别） FIFO算法# FIFO 算法是一种比较容易实现的算法。它的思想是先进先出（FIFO，队列），这是最简单、最公平的一种思想，即如果一个数据是最先进入的，那么可以认为在将来它被访问的可能性很小。空间满的时候，最先进入的数据会被最早置换（淘汰）掉。 FIFO 算法的描述：设计一种缓存结构，该结构在构造时确定大小，假设大小为 K，并有两个功能： set(key,value)：将记录(key,value)插入该结构。当缓存满时，将最先进入缓存的数据置换掉
图文并茂，带你入坑本地缓存 Caffeine
Java知音
04-27 992
点击关注公众号，实用技术文章及时了解关于缓存的几种算法关于缓存的设计在架构领域有非常多种类型，常见的缓存算法有FIFO，LRU，LFU，以及现在比较常用的W-TinyLFU算法。FIFO 算法这类算法通常会被应用于缓存队列中，当一个查询请求命中了某个元素之后，便会将它放入到队列中，后续的命中元素也是以此类推，直到队列满了之后，老的元素就会被弹出清除。具体流程如下图所示：不...
PN与FRU的区别
cudang7414的博客
01-13 2346
PN与FRU的区别（转自IBM官方网站）Marketing part numbers are used to purchase a product as an additional accessory or upgrade fo...
LRU算法四种实现方式介绍
热门推荐
elricboa的专栏
12-19 20万+
LRU全称是Least Recently Used，即最近最久未使用的意思。 LRU算法的设计原则是：如果一个数据在最近一段时间没有被访问到，那么在将来它被访问的可能性也很小。也就是说，当限定的空间已存满数据时，应当把最久没有被访问到的数据淘汰。 实现LRU       1.用一个数组来存储数据，给每一个数据项标记一个访问时间戳，每次插入新数据项的时候，先把数组中存
全面讲解LRU算法
Apple_Boy的博客
11-09 10万+
文章目录概念理解LRU原理基于 HashMap 和 双向链表实现 LRU 的Redis的LRU实现实际运用 概念理解 1.LRU是Least Recently Used的缩写，即最近最少使用页面置换算法，是为虚拟页式存储管理服务的，是根据页面调入内存后的使用情况进行决策了。由于无法预测各页面将来的使用情况，只能利用“最近的过去”作为“最近的将来”的近似，因此，LRU算法就是将最近最久未使用的页面予...
缓存友好的数据结构和算法举例
11-01
1. LRU（Least Recently Used）缓存算法：该算法会将最近最少使用的数据从缓存中淘汰，从而保证缓存中的数据都是最常用的数据。 2. LFU（Least Frequently Used）缓存算法：该算法会将最不经常使用的数据从缓存中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值