最近频繁的看到LRU这个关键词,而且在公司也听到了,于是乎趁着国庆无聊就搜索了解了一下,本来以为是多么玄乎的技术,发现只是比较简单的两个数据结构的结合。
为什么需要LRU
缓存是很重要的一项技术,可以加速我们的访问。但是缓存是有容量的,不能无限制的缓存,所以我们缓存一定量的时候就需要淘汰缓存中的内容,那么我们根据什么来进行这个淘汰的过程呢?读到这里也就可以明白了,我们需要缓存机制来指导这个淘汰数据的过程,LRU就是一种淘汰机制。
淘汰数据的思路
LRU,Least Recently Used,最近最少使用,从名字我们都可以看出,淘汰时淘汰的是最近没有使用的元素。
那么怎么区分最近使用了某个数据没有,我们这里用到的数据结构是链表,每次访问某个数据后把这个数据项移动到链表的首部,这里只设计到链表元素的删除和添加,时间复杂度很低,但有一个问题,我们定位这个元素的时候需要遍历链表,这样的话,复杂度就变成了O(N),我们再引用另一个数据结构-哈希表,建立起数据到节点的映射,这样我们的操作就变成了O(1)的复杂度了。
这里结合链表和哈希表省去遍历链表的过程我还是第一次看到,之前学的都是单个数据结构,看来只有代码看的多才有可能灵活组合应用数据结构。
代码实现
这里的代码比较简单,本来想自己实现,在github上找到了golang的版本,从头浏览了一遍,和上面的思路是完全一样的,就不再去重复那个过程了。注意的是这里只是实现了上面描述的思路,并没有考虑并发访问之类的安全性。同时我这里还没有想清楚的是这里回调函数的作用。希望看了此博客知道的话评论一下。
package simplelru
import (
"container/list"
"errors"
)
// EvictCallback is used to get a callback when a cache entry is evicted
type EvictCallback func(key interface{}, value interface{})
// LRU implements a non-thread safe fixed size LRU cache
type LRU struct {
size int
evictList *list.List
items map[interface{}]*list.Element
onEvict EvictCallback
}
// entry is used to hold a value in the evictList
type entry struct {
key interface{}
value interface{}
}
// NewLRU constructs an LRU of the given size
func NewLRU(size int, onEvict EvictCallback) (*LRU, error) {
if size <= 0 {
return nil, errors.New("Must provide a positive size")
}
c := &LRU{
size: size,
evictList: list.New(),
items: make(map[interface{}]*list.Element),
onEvict: onEvict,
}
return c, nil
}
// Purge is used to completely clear the cache.
func (c *LRU) Purge() {
for k, v := range c.items {
if c.onEvict != nil {
c.onEvict(k, v.Value.(*entry).value)
}
delete(c.items, k)
}
c.evictList.Init()
}
// Add adds a value to the cache. Returns true if an eviction occurred.
func (c *LRU) Add(key, value interface{}) (evicted bool) {
// Check for existing item
if ent, ok := c.items[key]; ok {
c.evictList.MoveToFront(ent)
ent.Value.(*entry).value = value
return false
}
// Add new item
ent := &entry{key, value}
entry := c.evictList.PushFront(ent)
c.items[key] = entry
evict := c.evictList.Len() > c.size
// Verify size not exceeded
if evict {
c.removeOldest()
}
return evict
}
// Get looks up a key's value from the cache.
func (c *LRU) Get(key interface{}) (value interface{}, ok bool) {
if ent, ok := c.items[key]; ok {
c.evictList.MoveToFront(ent)
return ent.Value.(*entry).value, true
}
return
}
// Contains checks if a key is in the cache, without updating the recent-ness
// or deleting it for being stale.
func (c *LRU) Contains(key interface{}) (ok bool) {
_, ok = c.items[key]
return ok
}
// Peek returns the key value (or undefined if not found) without updating
// the "recently used"-ness of the key.
func (c *LRU) Peek(key interface{}) (value interface{}, ok bool) {
var ent *list.Element
if ent, ok = c.items[key]; ok {
return ent.Value.(*entry).value, true
}
return nil, ok
}
// Remove removes the provided key from the cache, returning if the
// key was contained.
func (c *LRU) Remove(key interface{}) (present bool) {
if ent, ok := c.items[key]; ok {
c.removeElement(ent)
return true
}
return false
}
// RemoveOldest removes the oldest item from the cache.
func (c *LRU) RemoveOldest() (key interface{}, value interface{}, ok bool) {
ent := c.evictList.Back()
if ent != nil {
c.removeElement(ent)
kv := ent.Value.(*entry)
return kv.key, kv.value, true
}
return nil, nil, false
}
// GetOldest returns the oldest entry
func (c *LRU) GetOldest() (key interface{}, value interface{}, ok bool) {
ent := c.evictList.Back()
if ent != nil {
kv := ent.Value.(*entry)
return kv.key, kv.value, true
}
return nil, nil, false
}
// Keys returns a slice of the keys in the cache, from oldest to newest.
func (c *LRU) Keys() []interface{} {
keys := make([]interface{}, len(c.items))
i := 0
for ent := c.evictList.Back(); ent != nil; ent = ent.Prev() {
keys[i] = ent.Value.(*entry).key
i++
}
return keys
}
// Len returns the number of items in the cache.
func (c *LRU) Len() int {
return c.evictList.Len()
}
// removeOldest removes the oldest item from the cache.
func (c *LRU) removeOldest() {
ent := c.evictList.Back()
if ent != nil {
c.removeElement(ent)
}
}
// removeElement is used to remove a given list element from the cache
func (c *LRU) removeElement(e *list.Element) {
c.evictList.Remove(e)
kv := e.Value.(*entry)
delete(c.items, kv.key)
if c.onEvict != nil {
c.onEvict(kv.key, kv.value)
}
}