缓存是一种提高数据读取性能的技术,在硬件设计、软件开发中都有非常广泛的应用。比如CPU缓存、数据库缓存、浏览器缓存等。缓存的大小有限,当缓存被用满时,哪些数据应该被清理出去,哪些数据应该被保留?这就需要缓存淘汰策略来决定。
常见的缓存淘汰策略有三种:
- 先进先出策略FIFO(First In, First Out)
- 最少使用策略LFU(Least Frequently Used)
- 最近最少使用策略LRU(Least Recently Used)
1. 底层存储结构来看链表与数组的区别?
数组需要一块连续的存储空间来存储,对内存的要求比较高;而链表恰恰相反,它并不需要一块连续的内存空间,它通过“指针”将一组零散的内存块串联起来使用。
2. 常见的几种链表
2.1 单链表
链表通过指针将一组零散的内存块串联在一起。其中,我们把内存块称为链表的“结点”。为了将所有结点串起来,所以每个链表的结点除了存储数据以外,还需要记录链上的下一个结点的地址。我们把这个记录下一个结点地址的指针叫做后续指针next。
第一个结点称为头结点,最后一个结点称为尾节点。其中头结点用来记录链表的基地址。有了它,我们才能遍历得到整条链表。尾节点的特殊之处是:指针不是指向下一个结点,而是指向一个空地址NULL,表示这是链表上的最后一个地址。
链表也支持数据的查找、插入和删除操作。
在对数组进行插入和删除操作时,为了保持数据的连续性,需要做大量的数据搬移工作,所以时间复杂度是O(n)。而在链表中插入或是删除一个数据,我们不需要为了保持内存的连续性而搬移节点,因为链表的存储空间本身就是不连续的。所以,链表中插入或是删除一个数据是非常快速的。
链表的插入删除操作,只需要考虑相邻结点的指针的改变,所以对应的时间复杂度是O(1)。
链表想随机访问第k个元素,没有数组那么高效。
数组根据首地址和下标,通过寻址公式就可以直接计算出对应的内存地址;而链表需要根据指针一个结点一个结点地依次遍历,直到找到相应的结点。
可以把链表想象成一个队伍,队伍中的每个人都只知道自己后面的人是谁,所以当我们希望知道排在第k位的人是谁的时候,我们就需要从第一个人往下数。所以链表随机访问数据的性能没有数组好,需要O(n)的时间复杂度。
2.2 循环链表
循环链表是一种特殊的单链表。它与单链表的唯一区别就在尾节点上。单链表的尾节点指针指向空地址,表示这是最后的结点;循环链表的尾节点指针指向链表的头结点。
和单链表相比,循环链表的优点是从链尾到链头比较方便。当处理的数据具有环形结构的时候,就特别适合采用循环链表。比如著名的约瑟夫问题。利用循环链表比用单链表实现代码更加简洁。
2.3 双向链表
双向链表,它支持两个方向,每个结点不止有一个后续指针next指向后面的结点,还有一个前驱指针prev指向前面的结点。
从图中可以看出,双向链表需要额外的两个空间来存储后续结点和前驱结点的地址。所以,存储同样多的数据,双向链表要比单链表占用更多的内存空间。但是,双向链表支持双向遍历,所以双链表更加灵活。
从结构上来看,双向链表可以支持O(1)时间复杂度的情况下找到前驱结点,正是这样的特点,使得双向链表在某些情况下的插入、删除操作比单链表更加高效。
删除操作:
- 删除结点中“值等于某个给定值”的结点
- 删除给定指针指向的结点
对于1中的情况,不管是单链表还是双向链表,为了找到值等于给定值的结点,都需要从头开始一个一个依次遍历对比,直到找到值等于给定值的结点,然后再通过指针操作将其删除。单纯的删除操作的时间复杂度是O(1),但是遍历查找的时间是主要的耗时点,对应的时间复杂度是O(n)。
对于2,我们已经找到要删除的结点,但是删除某个结点q,需要其前驱结点,而单链表不支持直接获得前驱结点,所以为了找到前驱结点,需要从头开始遍历链表,直到p<-next=q,说明p是q的前驱结点。对于双向链表来说,这种情况就比较有优势。因为双向链表已经保存了前驱结点的指针,不需要像单链表那样遍历。所以,针对第2种情况,单链表删除操作需要O(n)的时间复杂度,而双链表只需要O(1)的时间复杂度。
同理,在链表的某个指定的结点前面插入一个结点,双向链表比单链表有更大的优势。双链表可以在O(1)的时间复杂度搞定,但是单链表需要在O(1)的时间复杂度。
除了插入、删除操作具有优势以外,对于一个有序链表,双向链表的按值查询的效率也要比单链表高一些。因为,我们可以记录上一次查找的位置P,每次查询时,根据要查找的值与P值的大小关系,决定往前查找还是往后查找,所以平均只需要查找一半的数据。
这就是为什么在实际的软件开发中,双向链表比较尽管比较耗费内存,但还是比单链表的应用更加广泛的原因。
空间换时间、时间换空间的设计思想:
当内存充足的时候,如果我们追求代码的执行速度,我们就可以选择空间复杂度相对较高、但时间复杂度相对较低的算法或是数据结构。相反,如果内存比较紧缺,比如代码跑在手机上或是单片机上,这个时间就要反过来用时间换空间的设计思想了。
缓存其实就是利用了空间换时间的思想。如果我们把数据存储在硬盘上,会比较节省内存,但是每次查找数据都要询问一次硬盘,会比较慢。但是如果我们通过缓存技术,事先将数据加载到内存中,虽然会比较耗费内存空间,但是每次数据查询的速度就大大提高了。
总结:
对于执行较慢的程序,可以通过消耗更多的内存(空间换时间)来进行优化;而消耗过多内存的程序,可以通过消耗更多的时间(时间换空间)来降低内存的消耗。
2.4 双向循环链表
如果将循环链表和双向链表整合在一起,就是双向循环链表。
3. 链表和数组性能大比拼
数组和链表是两种截然不同的内存组织方式。正因为内存存储的区别,他们插入、删除、随机访问操作的时间复杂度正好相反。
链表和数组的对比,并不能局限于时间复杂度。而且,在实际的软件开发当中,不能仅仅利用复杂度分析就决定使用哪个数据结构来存储数据。
数组简单易用,在实现上使用的是连续的内存空间,可以借助CPU的缓存机制,预读数组中的数据,所以访问效率更高。而链表在内存中并不是连续存储,所以对CPU缓存不友好,没办法预读数据。
数组的缺点是大小固定,一经声明就要占用整块连续内存空间。如果声明的数组过大,系统可能没有足够的连续空间分配给它,导致“内存不足”。如果声明的数组过小,则可能出现不够用的情况。这时只能再申请一个更大的内存空间,把原始数组拷贝进去,非常费时。链表本身没有大小的限制,天然支持动态扩容,这是它与数组最大的区别。
如果你的代码对内存比较苛刻,那数组会更适合。因为链表中的每个结点都需要消耗额外的存储空间去存储一份指向下一个结点的指针,所以内存消耗会翻倍。而且,对链表频繁的插入、删除操作,还会导致频繁的内存申请和释放,容易造成内存碎片。
4. 如何基于链表实现LRU缓存淘汰算法?
思路:
我们维护一个有序单向链表,越靠近链表尾部的结点是越早之前访问的。当有一个新的数据被访问时,我们从链表的表头开始顺序遍历链表。
1. 如果此数据之前已被缓存在链表中了,遍历得到这个数据对应的结点,并将其从原始的位置删除,然后插入到链表的头部。
2. 如果此数据没有在缓存链表中,又可以分为两种情况
(1)如果此时缓存未满,则将此结点直接插入到链表的头部;
(2)如果此时缓存已满,则将链表尾节点删除,将新的数据结点插入链表的头部。
由于不管缓存有没有满,我们都需要遍历一遍链表,所以这种基于链表的实现思路,缓存访问的时间复杂度就是O(n)。实际上可以继续优化这个实现思路,比如引进散列表(Hash Table)来记录每个数据的位置,将缓存访问时间复杂度降到O(1)。