LRU Cache的实现

1 概念

Cache，即高速缓存，是介于CPU和内存之间的高速小容量存储器。在金字塔式存储体系中它位于自顶向下的第二层，仅次于CPU寄存器。其容量远小于内存，但速度却可以接近CPU的频率。

当CPU发出内存访问请求时，会先查看 Cache 内是否有请求数据。

• 如果存在（命中），则直接返回该数据；
• 如果不存在（失效），再去访问内存 —— 先把内存中的相应数据载入缓存，再将其返回处理器。

提供“高速缓存”的目的是让数据访问的速度适应CPU的处理速度，通过减少访问内存的次数来提高数据存取的速度。

2 原理

Cache 技术所依赖的原理是”程序执行与数据访问的局部性原理“，这种局部性表现在两个方面：

1. 时间局部性：如果程序中的某条指令一旦执行，不久以后该指令可能再次执行，如果某数据被访问过，不久以后该数据可能再次被访问。
2. 空间局部性：一旦程序访问了某个存储单元，在不久之后，其附近的存储单元也将被访问，即程序在一段时间内所访问的地址，可能集中在一定的范围之内，这是因为指令或数据通常是顺序存放的。

时间局部性是通过将近来使用的指令和数据保存到Cache中实现。空间局部性通常是使用较大的高速缓存，并将 预取机制 集成到高速缓存控制逻辑中来实现。

3 替换策略

Cache的容量是有限的，当Cache的空间都被占满后，如果再次发生缓存失效，就必须选择一个缓存块来替换掉。常用的替换策略有以下几种：

1. 随机算法（Rand）：随机法是随机地确定替换的存储块。设置一个随机数产生器，依据所产生的随机数，确定替换块。这种方法简单、易于实现，但命中率比较低。

2. 先进先出算法（FIFO, First In First Out）：先进先出法是选择那个最先调入的那个块进行替换。当最先调入并被多次命中的块，很可能被优先替换，因而不符合局部性规律。这种方法的命中率比随机法好些，但还不满足要求。

3. 最久未使用算法（LRU, Least Recently Used）：LRU法是依据各块使用的情况， 总是选择那个最长时间未被使用的块替换。这种方法比较好地反映了程序局部性规律。

4. 最不经常使用算法（LFU, Least Frequently Used）：将最近一段时期内，访问次数最少的块替换出Cache。

4 概念的扩充

如今高速缓存的概念已被扩充，不仅在CPU和主内存之间有Cache，而且在内存和硬盘之间也有Cache（磁盘缓存），乃至在硬盘与网络之间也有某种意义上的Cache──称为Internet临时文件夹或网络内容缓存等。凡是位于速度相差较大的两种硬件之间，用于协调两者数据传输速度差异的结构，均可称之为Cache。

5  思路分析

对一个Cache的操作无非三种：插入(insert)、替换(replace)、查找（lookup）。

为了能够快速删除最久没有访问的数据项和插入最新的数据项，我们使用 双向链表 连接Cache中的数据项，并且保证链表维持数据项从最近访问到最旧访问的顺序。

• 插入：当Cache未满时，新的数据项只需插到双链表头部即可。时间复杂度为 O(1) .

• 替换：当Cache已满时，将新的数据项插到双链表头部，并删除双链表的尾结点即可。时间复杂度为 O(1) .

• 查找：每次数据项被查询到时，都将此数据项移动到链表头部。

经过分析，我们知道使用双向链表可以保证插入和替换的时间复杂度是 O(1) ，但查询的时间复杂度是 O(n) ，因为需要对双链表进行遍历。为了让查找效率也达到 O(1) ，很自然的会想到使用 hash table 。

      简单的说，就是保证基本的get和set的功能的同时，还要保证最近访问(get或put)的节点保持在限定容量的Cache中，如果超过容量则应该把LRU(近期最少使用)的节点删除掉。

那么我们思考一个问题：如何设计实现一个LRU Cache？
那么，我们可能需要使用类似这样的数据结构去实现这个LRU Cache：

这不就是LinkedHashMap吗！
这样做的好处是，get和set在不冲突的情况下可以保证O(1)的复杂度，同时，也可以通过双向链表来保证LRU的删除和更新操作也能保证O(1)的复杂度。

2 代码实现

从上述分析可知，我们需要使用两种数据结构：

1. 双向链表（Doubly Linked List）
2. 哈希表（Hash Table）

在学习了HashMap(#7 )和LinkedHashMap(#8 )后，是不是觉得这俩数据结构简直太适合做LRU Cache了！那么动手实现一下：
基于HashMap和双向链表的实现

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69

public class LRUCache {      class Node {          Node pre;          Node next;          Integer key;          Integer val;            Node(Integer k, Integer v) {              key = k;              val = v;          }      }        Map<Integer, Node> map = new HashMap<Integer, Node>();      // The head (eldest) of the doubly linked list.      Node head;      // The tail (youngest) of the doubly linked list.      Node tail;      int cap;      public LRUCache( int capacity) {          cap = capacity;          head = new Node( null , null );          tail = new Node( null , null );          head.next = tail;          tail.pre = head;      }        public int get( int key) {          Node n = map.get(key);          if (n!= null ) {              n.pre.next = n.next;              n.next.pre = n.pre;              appendTail(n);              return n.val;          }          return - 1 ;      }        public void set( int key, int value) {          Node n = map.get(key);          // existed          if (n!= null ) {              n.val = value;              map.put(key, n);              n.pre.next = n.next;              n.next.pre = n.pre;              appendTail(n);              return ;          }          // else {          if (map.size() == cap) {              Node tmp = head.next;              head.next = head.next.next;              head.next.pre = head;              map.remove(tmp.key);          }          n = new Node(key, value);          // youngest node append taill          appendTail(n);          map.put(key, n);      }        private void appendTail(Node n) {          n.next = tail;          n.pre = tail.pre;          tail.pre.next = n;          tail.pre = n;      } }

基于LinkedHashMap的实现
HashMap+双向链表？这不就是LinkedHashMap吗！

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

public class LRUCache {        private int capacity;      private Map<Integer, Integer> cache;        public LRUCache( int capacity) {          this .capacity = capacity;          this .cache = new java.util.LinkedHashMap<Integer, Integer> (capacity, 0 .75f, true ) {              // 定义put后的移除规则，大于容量就删除eldest              protected boolean removeEldestEntry(Map.Entry<Integer, Integer> eldest) {                  return size() > capacity;              }          };      }        public int get( int key) {          if (cache.containsKey(key)) {              return cache.get(key);          } else              return - 1 ;      }        public void set( int key, int value) {          cache.put(key, value);      } }