redis占用内存大小
redis是基于内存的的key-value数据库,由于系统内存大小有限,我们在使用redis时可以通过配置使用redis最大的内存大小。
redis内存配置
- 通过配置文件配置,在redis.conf配置文件中添加一下配置配置内存大小
//设置Redis最大占用内存大小为100M
maxmemory 100mb
- 通过命令修改,在redis服务动态运行时,通过命令进行配置
[root@iz2zeggjr0d8kt5ik151rdz bin]# redis-cli
127.0.0.1:6379> ping
PONG
//设置Redis最大占用内存大小为100M
127.0.0.1:6379> config set maxmemory 100mb
OK
//获取设置的Redis能使用的最大内存大小
127.0.0.1:6379> config get maxmemory
1) "maxmemory"
2) "104857600"
127.0.0.1:6379>
redis内存策略
通过设置redis的内存设置,可以有效配置redis内存大小。既然redis内存大小可以配置,那么内存用完时,redis是如何往里面添加数据的呢?
一般来说,redis通过以下策略来处理这种情况:
- noeviction(默认策略) :对于写请求不再提供服务,直接返回错误(DEL请求和部分特殊请求除外)
- allkeys-lru :从所有key中使用LRU算法进行淘汰
- volatile-lru :从设置了过期时间的key中使用LRU算法进行淘汰
- allkeys-random :从所有key中随机淘汰数据
- volatile-random :从设置了过期时间的key中随机淘汰
- volatile-ttl :在设置了过期时间的key中,根据key的过期时间进行淘汰,越早过期的越优先被淘汰
当使用volatile-lru 、volatile-random 、volatile-ttl 这三种策略时,如果没有key可以被淘汰,则和noeviction 一样返回错误
获取设置redis内存策略
- 获取当前内存淘汰策略
127.0.0.1:6379> config get maxmemory-policy
1) "maxmemory-policy"
2) "noeviction"
- 通过配置文件设置内存淘汰策略
maxmemory-policy allkeys-lru
- 通过命令动态配置内存淘汰策略
127.0.0.1:6379> config set maxmemory-policy allkeys-lru
OK
127.0.0.1:6379> config get maxmemory-policy
1) "maxmemory-policy"
2) "allkeys-lru"
127.0.0.1:6379>
LRU算法
当redis内存使用完后,是可以使用LRU算法进行淘汰的。LRU(Least Recently Used) ,即最近最少使用,是一种缓存置换算法。在使用内存作为缓存的时候,缓存的大小一般是固定的。当缓存被占满,这个时候继续往缓存里面添加数据,就需要淘汰一部分老的数据,释放内存空间用来存储新的数据。这个时候就可以使用LRU算法了。其核心思想是:如果一个数据在最近一段时间没有被用到,那么将来被使用到的可能性也很小,所以就可以被淘汰掉。
import javax.sound.midi.Soundbank;
import java.util.HashMap;
import java.util.Map;
public class LRUCache<k,v> {
// 容量
private int capacity;
// 当前多少节点的统计
private int count;
//缓存节点
private Map<k,Node<k,v>> nodeMap;
private Node<k,v> head;
private Node<k,v> tail;
public LRUCache(int capacity){
if (capacity < 1){
throw new IllegalArgumentException(String.valueOf(capacity));
}
this.capacity = capacity;
this.nodeMap = new HashMap<>();
// 初始化头结点和尾结点,利用哨兵模式减少判断头部节点和尾部节点为空的代码
Node headNode = new Node(null, null);
Node tailNode = new Node(null, null);
headNode.next = tailNode;
tailNode.pre = headNode;
this.head = headNode;
this.tail = tailNode;
}
private void removeNode(){
Node node = tail.pre;
//从链表移除
removeFromList(node);
nodeMap.remove(node.key);
count--;
}
private void removeFromList(Node<k,v> node){
Node pre = node.pre;
Node next = node.next;
pre.next = next;
next.pre = pre;
node.next = null;
node.pre = null;
}
private void addNode(Node<k,v> node){
//添加节点到头部
addToHead(node);
nodeMap.put(node.key, node);
count++;
}
public void addToHead(Node<k,v> node){
Node next = head.next;
next.pre = node;
node.next = next;
node.pre = head;
head.next = node;
}
public void moveNodeToHead(Node<k,v> node){
//从链表里面删除
removeFromList(node);
//添加节点到头部
addToHead(node);
}
public void put(k key, v value) {
Node<k, v> node = nodeMap.get(key);
if (node == null) {
if (count >= capacity) {
//先移除一个节点
removeNode();
}
node = new Node<>(key, value);
//添加节点
addNode(node);
} else {
//移动节点到头节点
moveNodeToHead(node);
}
}
public Node<k,v>get(k key){
Node<k, v> node = nodeMap.get(key);
if(node != null){
moveNodeToHead(node);
}
return node;
}
static class Node<k,v>{
k key;
v value;
Node pre;
Node next;
public Node(k key, v value){
this.key = key;
this.value =value;
}
}
}
LRU算法在redis中的使用
redis中使用近似LRU算法:通过随机取样法进行淘汰,每次随机出5(默认)个key,从里面淘汰掉最近最少使用的key。
可以通过maxmemory-samples参数修改采样数量:例:maxmemory-samples 10 maxmenory-samples配置的越大,淘汰的结果越接近于严格的LRU算法
在redis中为了实现近似的LRU算法,给每个key额外添加了一个24bit的字段,用来存储改key最后一次访问时间。
redis3.0对近似LRU算法的优化
Redis3.0对近似LRU算法进行了一些优化。新算法会维护一个候选池(大小为16),池中的数据根据访问时间进行排序,第一次随机选取的key都会放入池中,随后每次随机选取的key只有在访问时间小于池中最小的时间才会放入池中,直到候选池被放满。当放满后,如果有新的key需要放入,则将池中最后访问时间最大(最近被访问)的移除。
当需要淘汰的时候,则直接从池中选取最近访问时间最小(最久没被访问)的key淘汰掉就行。
LFU算法
LFU算法是Redis4.0里面新加的一种淘汰策略。它的全称是Least Frequently Used ,它的核心思想是根据key的最近被访问的频率进行淘汰,很少被访问的优先被淘汰,被访问的多的则被留下来。
LFU算法能更好的表示一个key被访问的热度。假如你使用的是LRU算法,一个key很久没有被访问到,只刚刚是偶尔被访问了一次,那么它就被认为是热点数据,不会被淘汰,而有些key将来是很有可能被访问到的则被淘汰了。如果使用LFU算法则不会出现这种情况,因为使用一次并不会使一个key成为热点数据。
LFU一共有两种策略:
- volatile-lfu:在设置了过期时间的key中使用LFU算法淘汰key
- allkeys-lfu:在所有的key中使用LFU算法淘汰数据