常见八股文

本文介绍了Redis中处理大Key的两种策略:程序扫描分批删除和4.0版本的lazyfree机制,以及Redis的过期策略和内存淘汰机制。定期删除与惰性删除相结合确保过期Key的删除,而内存不足时,Redis会根据设定的策略如LRU等进行内存淘汰。
摘要由CSDN通过智能技术生成

1、redis删除大key

摘自:redis 删除大key集合的方法 - 大数据技术派 - 博客园​​​​​​

redis大key,这里指的是大的集合数据类型,如(set/hash/list/sorted set),一个key包含很多元素。由于redis是单线程,在删除大key(千万级别的set集合)的时候,或者清理过期大key数据时,主线程忙于删除这个大key,会导致redis阻塞、崩溃,应用程序异常的情况。

方案1:程序扫描scan分批删除

  • hash key:通过hscan命令,每次获取500个字段,再用hdel命令;
  • set key:使用sscan命令,每次扫描集合中500个元素,再用srem命令每次删除一个元素;
  • list key:删除大的List键,未使用scan命令; 通过ltrim命令每次删除少量元素。
  • sorted set key:删除大的有序集合键,和List类似,使用sortedset自带的zremrangebyrank命令,每次删除top 100个元素。

方案2:redis4.0新增的lazyfree机制

在redis 4.0引入了lazyfree机制,可将删除操作放在后台,让后台子线程(bio)执行,避免主线程阻塞。

(1)主动删除:

UNLINK命令是与DEL一样删除key功能,但它是lazy free实现,UNLINK在删除集合类键时,如果集合键的元素个数大于64个,会把真正的内存释放的操作给单独的bio来操作。

127.0.0.1:7000> UNLINK mylist
(integer) 1
FLUSHALL/FLUSHDB ASYNC

(2)被动删除场景时也可配置lazyfree(见原文吧)

2、Redis的过期策略和内存淘汰机制

摘自:Redis的过期策略和内存淘汰机制 - __Meng - 博客园

过期策略

  我们set key的时候,都可以给一个expire time,就是过期时间,指定这个key比如说只能存活1个小时,我们自己可以指定缓存到期就失效。

  如果假设你设置一个一批key只能存活1个小时,那么接下来1小时后,redis是怎么对这批key进行删除的?

  答案是:定期删除+惰性删除。

  所谓定期删除,指的是redis默认是每隔100ms就随机抽取一些设置了过期时间的key,检查其是否过期,如果过期就删除。

  注意,这里可不是每隔100ms就遍历所有的设置过期时间的key,那样就是一场性能上的灾难。

  实际上redis是每隔100ms随机抽取一些key来检查和删除的。

  但是,定期删除可能会导致很多过期key到了时间并没有被删除掉,所以就得靠惰性删除了。

  这就是说,在你获取某个key的时候,redis会检查一下 ,这个key如果设置了过期时间那么是否过期了?如果过期了此时就会删除,不会给你返回任何东西。

  并不是key到时间就被删除掉,而是你查询这个key的时候,redis再懒惰的检查一下

  通过上述两种手段结合起来,保证过期的key一定会被干掉。

  但是实际上这还是有问题的,如果定期删除漏掉了很多过期key,然后你也没及时去查,也就没走惰性删除,此时会怎么样?

  如果大量过期key堆积在内存里,导致redis内存块耗尽了,怎么办?  答案是:走内存淘汰机制。

内存淘汰机制

  如果redis的内存占用过多的时候,此时会进行内存淘汰,有如下一些策略:

  noeviction:当内存不足以容纳新写入数据时,新写入操作会报错,这个一般没人用吧

  allkeys-lru:当内存不足以容纳新写入数据时,在键空间中,移除最近最少使用的key(这个是最常用的)

  allkeys-random:当内存不足以容纳新写入数据时,在键空间中,随机移除某个key,这个一般没人用吧

  volatile-lru:当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,移除最近最少使用的key(这个一般不太合适)

  volatile-random:当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,随机移除某个key

  volatile-ttl:当内存不足以容纳新写入数据时,在设置了过期时间的键空间中,有更早过期时间的key优先移除

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值