如何实现LRU缓存淘汰算法

一 概述

缓存是一种提高数据可读性能的技术，在硬件设计，软件开发中都有着非常广泛的应用，常见的有CPU缓存，数据库缓存，浏览器缓存等。

缓存的大小有限，当缓存被用完后，我们就需要通过缓存淘汰策略来决定因该将哪些数据清理，常见的缓存策略有：

1. 先进先出策略FIFO(First In，First Out)
2. 最少使用策略LRF(Least Frequently Used)
3. 最近最少使用策略LRU(Least Recently Used)

二 数组和链表

数组需要一块连续的内存空间来存储数据，对内存的要求比较高。如果我们申请了100MB大小的数组，当内存中没有连续的，足够大的存储空间，即使内存的剩余总可用空间大于100MB，仍然会申请失败。

链表恰恰相反，并不需要一个块连续的内存空间，它通过"指针"将一组零散的内存块串联起来使用，此时我们申请100MB大小的链表，就不会有任何的问题。

数组与链表的内存分布

                      

链表通过指针将一组零散的内存块串联起来。其中，我们把内存块称为链表的"结点"。为了将所有的结点串起来，每个链表的结点除了存储数据之外，还需要一个后继结点next，记录链上的下一个结点的地址。

数组与链表的效率对比

                 

数组简单易用，在实现上使用的是连续的内存空间，可以借助CPU的缓存机制，预读数组中的数据，所以访问效率比较高。而链表在内存中并不是连续存储，所以对CPU缓存不友好，没办法有效于预读。

数组的缺点是大小固定，一经声明就要占用整块连续内存空间。如果声明的数组过大，系统可能没有足够的连续内存分配给它，导致"内存不足（out of memory）"。如果声明的数组过小，则可能出现不够用的情况。这时只能再申请一个更大的内存空间，把原来数组拷贝进去，非常耗时。

链表本身没有大小的限制，天然地支持动态扩容，我觉得这也是它与数组最大的区别。

单链表：在进行数组的插入和删除操作时，为了保存内存数据的连续性，需要做大量的数据搬移，所以时间复杂度为O（n）。而在链表中插入或者删除一个数据，我们并不需要为例保持内存的连续性而搬移结点，因为链表的存储空间本身就不连续的。所以，在链表中插入和删除一个数据时非常快速的。针对链表的插入和删除操作，我们只需要考虑相邻结点的指针改变，所以对应的时间复杂度时O（1）。

                      

链表要像随机访问第k个元素，就没有数组那么高效率。因为链表中的数据并非连续存储的，所以无法像数组那样，根据首地址和下标，通过寻址公式就能直接计算出对应的内存地址，而是需要根据指针一个结点一个结点地一次遍历，直到找到相应的结点，时间复杂度为O(n)。

循环链表：循环链表是一种特殊的单链表，实际上，循环链表也很简单。它跟单链表唯一的区别就在尾结点。我们知道，单链表的尾结点指针指向空地址，表示这就是最后的结点了。而循环链表的尾结点指针是链表的头节点。

                       

同单链表相比，循环链表的优点是从链尾到链头比较方便。当要处理的数据具有环型结构特点时，就特别适合采用循环链表。

双向链表：对于单链表只有一个方向，结点只有一个后继指针next指向后面的结点。而双线链表，顾名思义，它支持两个方向，每个结点不止有一个后继指针next指向后面的结点，还有一个前驱指针prev指向前面的结点。

                        

双向链表需要额外的两个空间来存储后继结点和前驱结点的地址。所以，如果存在同样多的数据，双向链表要比单链表占用更多的内存空间。虽然两个指针比较浪费存储空间，但可以支持双向遍历，这样也带来了双向链表的灵活性。双向链表可以支持时间复杂度为O(1)的情况下找到前驱结点，正是这样的特点，也就是双向链表在某种情况下的插入，删除等操作都要比单链表更简单，高效。

双向链表的删除操作如何比单链表删除操作更加高效，先了解以下从链表中删除一个数据的两种情况：

1. 删除结点中"值等于某个给定值"的结点：不管是单链表还是双向链表，为了查找到值等于给定值的结点，都需要从头结点开始一个一个一次遍历对比，直到找到值等于给定值的结点，然后再通过指针操作删除该元素。

尽管单纯的删除操作时间复杂度是O(1)，但是遍历查找的时间是主要的耗时点，对应的时间复杂度为O(n)。根据时间复杂度分析中的加法法则，删除值等于给定值的结点对应的链表操作的总时间复杂度为O(n)。

2. 删除给定指针指向的结点：当我们已经找到了要删除的结点，但是删除某个结点q需要知道其前驱结点，而但俩表不支持直接获取前驱结点，所以，为了找到前驱结点，我们还是要从头结点开始遍历，知道p->next = q，说明p是q的前驱结点。

这种情况对于双向链表来说，这种情况就比较有优势了。因为双向链表中的结点已经保存了前驱结点的指针，不需要像那样遍历。所以，双向链表只需要在O(1)的时间复杂度内就搞定了！

同理，如果我门希望在链表的某个指定结点前面插入一个结点，双向链表比单链表有很大的优势。双向链表可以在O(1)时间复杂度搞定，而单向需要O(n)的时间复杂度。

除了插入，删除操作有优势之外，对于一个有序链表，双向链表的按值查询的效率要比单链表高一些。因为，我们可以记录上次查找的位置p，每次查询时，根据要查找的值与p的大小关系，决定是往前还是往后查找，所以平均只需要查找一半的数据。

数组和链表的使用场景

Java中的ArrayList的动态扩容为当我们往链表中插入一个数据时，如果数组中没有空闲空间了，就会申请一个更大的空间，将数组拷贝过去，而数据拷贝的操作是非常耗时的。

一个极端的例子，如果我们用ArrayList存储了1GB大小的数据，这个时候已经没有空闲空间了，当我们再插入数据的时候，ArrayList会申请一个1.5GB大小的存储空间，并且会将原来那1GB的数据拷贝到新申请的空间上。

当代码对内存的使用非常苛刻，那数组就是比较好的选择，因为链表中的每个结点都需要消耗额外的存储空间去存储一份指向下一个结点的指针，所以内存消耗会翻倍。而且，对链表进行频繁的插入，删除操作，还会导致频繁的内存申请和释放，容易造成内存碎片，如果是Java语言，就有可能导致频繁的GC(Garbage Collection，垃圾回收)。

三 通过链表实现基于LRU[最近最少使用]淘汰策略的淘汰算法

我们维护一个有序单链表，越靠近链表尾部的结是越早之前访问的。当有一个新的数据访问时，我们从链表头开始顺序遍历链表。

1. 如果此数据之前已经被缓存在链表中了，我们遍历得到这个数据对应的结点，并将其从原来的位置删除，然后再插入到链表的头部，此情况的时间复杂度为O(1)。
2. 如果此数据没有在缓存链表中，可以分为两种情况：1.如果此时缓存未满，则将此结点直接插入到链表的头部，此情况的时间复杂度为O(1)。2.如果此时缓存已满，则将链表尾结点删除，将新的数据结点插入链表的头部，时间复杂度为O(1)。

四 通过数组实现基于LRU[最近最少使用]淘汰策略的淘汰算法

a. 首位置保存最新访问数据，末尾位置优先清理

当访问的数据未存在于缓存的数组中时，直接将数据插入数组第一个元素位置，此时数组所有的元素都需要向后移动一个位置，此时的时间复杂度为O(n)；

当访问的数据存在于缓存的数组中时，查找到数据并将其插入数组的第一个位置，此时亦需移动数组元素，时间复杂度为O(n)。缓存用满时，则清理掉末尾的数据，时间复杂度为O(1)。

b. 首位置优先清理，末尾位置保存最新访问数据

当访问的数据未存在于缓存的数组中时，之间将数据添加到数组末端作为当前数组的最后一个元素，此时的时间复杂度为O（1）；

当访问的数据存在于缓存的数组中时，查找到数据并将其插入当前数组最后一个元素的位置，此时需要移动数组元素，此时的时间复杂度为O(n)。缓存用满时，则清理掉数组首位置的元素，且剩余数组元素需整体前移以为，时间复杂度为O(n)。

优化：当我们清理的时候可以考虑一次性清理一定数量的数据，从而降低清理和移动的次数，提高性能。