缓存淘汰策略与链表结构

缓存淘汰策略

缓存可以提高数据存取效率，如CPU缓存、数据库缓存。
缓存大小是有限的，当缓存被用满时，应该决定哪些数据被清理出去，哪些数据保留，这就需要缓存淘汰策略，常见的策略有三种：

• 先进先出策略FIFO(First In,First Out);
• 最少使用策略LFU(Least Frequently Used);
• 最近最少使用策略LRU(Least Recently Used);

链表

链表的结构五花八门，有单链表，双链表，链表的插入和删除操作复杂度为O(1)，而查询的时间复杂度是O(n)，如果单链表的尾指针指向头节点，就是循环链表，如果每个节点都有一个前驱指针，就变成了双向链表。双向链表比单向链表更加消耗内存，但是比单向链表更加高效。Java中的LinkedHashMap的原理就是双向链表。这个思路也叫时间换空间。双向链表也可以是循环链表。

双向链表的高效问题分析：

单向链表和双向链表的插入删除操作复杂度都是O(1)，但是双向链表可以在时间复杂度为O(1)的情况下找到前驱结点，链表的删除操作在实际开发中一般只有两种情况：

• 删除节点中“值等于某个给定值”的节点；
• 删除给定指针所指向的节点；

对于第一种情形，为了找到值等于给定值的节点，不论是单向链表或双向链表都需要从头结点一个一个依次遍历，直到找到节点，然后删除，单纯的删除操作时间复杂度为O(1)，但是遍历查找的时间是主要的耗时点，对应的时间复杂度为O(n)，所以删除值等于给定值得链表操作的总时间复杂度是O(n)。

第二种情形是已经有了要删除的节点的指针，要是要删除某个节点q需要知道其前驱节点p，把p的next指向q的next，单项链表不支持直接获取前驱节点，所以又要重新遍历一遍，而双向链表可以直接获得前驱结点。

同理，如果要在指定节点前插入一个节点，双向链表可以在O(1)时间复杂度搞定，单向链表需要O(n)时间复杂度。

数组与链表

数组简单易用，实现上使用的是连续的内存空间，可以借助CPU缓存机制预读数组中的数据，所以访问效率更高。而链表不是连续内存，对于cpu缓存不友好，没有办法有效预读。

数组大小是固定的，声明的时候需要确定大小并且占用连续的内存空间，如果声明的数组过大，内存可能会不足(out of memory)，如果声明数组太小，不够用的时候扩容只能申请更大的空间再把原数组拷贝进去，非常费时，链表支持动态扩容。

用链表实现一个简单的LRU算法

创建一个链表，可以使单链表也可以是双链表，越靠近链表尾部的节点是越早之前访问的，当有一个新的数据被访问时，从链表头开始遍历一次链表：

如果数据在链表中，遍历得到该数据对应的节点，并将原来的位置删除，插入到链表的头部。

如果数据不在链表中，则需要把数据放入链表：

• 如果缓存未满，则将此节点直接插入到头部

• 如果缓存已满，则把链表尾节点删除，再把新的数据节点插入到链表头部。

这样就用链表实现了一个LRU缓存，当然还有很多可以优化的地方，基本思路就是这样的。

引入散列表用来记录每个数据的位置，这样缓存访问的时间复杂度就由O(n)变成了O(1)。