Redis缓存雪崩 击穿 穿透 保证redis中的热点数据

雪崩

1. 含义

　同一时刻，大量的缓存同时过期失效。

2. 产生原因和后果

(1). 原因：由于开发人员经验不足或失误，大量热点缓存设置了统一的过期时间。

(2). 产生后果：恰逢秒杀高峰，缓存过期，瞬间海量的QPS(每秒查询次数)直接打到DB上，如果系统架构没有熔断机制，直接将导致系统全线崩溃。

3. 处理方案

(1). 设置不同的缓存失效时间，比如可以在缓存过期时间后面加个随机数，这样就避免同一时刻缓存大量过期失效。

setRedis（key，value，time + Math.random() * 9999）；

(2). 针对系统的一些热点数据， 可以设置缓存永不过期。 （或者定时更新）

(3). 设置二级缓存架构C1、C2，C1在前，C2在后，C1的缓存可以设置不同的过期时间，C2缓存与DB保持强一致性，实现数据同步。

PS：该二级缓存架构，同样也适用于解决下面的缓存击穿。

(4). 从架构层面来说：Redis做集群，将热点数据分配在不同的master上，减轻单点压力，同时master要对应多个slave，保证高可用；  系统架构要有快速熔断策略，减轻系统的压力。 

 击穿

1. 含义

　某热点Key扛着大量的并发请求，当key失效的一瞬间，大量的QPS打到DB上，导致系统瘫痪。 

PS：缓存击穿和缓存雪崩类似，击穿是某些热点key失效一瞬间大量请求打到DB上，缓存雪崩是指缓存面积失效导致大量请求打到DB上。所以二者的处理方案类似。

2. 处理方案

(1). 热点key过期时间后加随机数 。

(2). 热点key缓存永不过期（但是value需要开个子线程去更新）

(3). 二级缓存架构策略。（详见上面）

(4). 采用互斥锁更新，保证同一进程针对相同的数据不会并发打到DB上，从而减轻DB的压力。

(5). 缓存失效的时候随机sleep一个很短的时间，再次查询，如果失败则执行更新操作。

 

穿透

1. 含义

　业务请求中数据缓存中没有，DB中也没有，导致类似请求直接跨过缓存，反复在DB中查询，与此同时缓存也不会得到更新。

举个例子：

　商品表中的id是自增，并且以id为缓存的key，商品库存为value事先存在redis中。但此时过来的请求id均为负数，-1，-2，-3，缓存没有，DB中也没有，造成类似请求直接跨过缓存，打在DB上。

2.处理方案

(1). cache null策略：DB查询的结果即使为null，也给缓存的value设置为null，同时可以设置一个较短的过期时间，这样就避免不存在的数据跨过缓存直接打到DB上。

伪代码思路分享：

Public String get(String key) {
  //从缓存中获取数据
  String cacheValue = cache.get(key);
  //缓存为空
  if (StringUtils.isBlank(cacheValue)) {
     // 从DB中获取
     String storageValue = db.get(key);
     cache.set(key, storageValue);     //如果存储数据为空，需要设置一个过期时间(300秒)
     if (storageValue == null) {
        cache.expire(key, 60 * 5);
      }
     return storageValue;
  } else {
     // 缓存非空
     return cacheValue;
   }
 }

剖析：

　该方案不是并不是最佳方案，还是上面的例子，比如我用不同的id进行请求，例如 id=-1，-2，。。。。-10000，会导致缓存中存在大量的null，当数量达到一定值的时候，根据缓存淘汰策略，会导致正常的key失效。

(2). 布隆过滤器：

　事先把存在的key都放到redis的BloomFilter 过滤器中，他的用途就是存在性检测，如果 BloomFilter 中不存在，那么数据一定不存在；如果 BloomFilter 中存在，实际数据也有可能会不存在。

剖析：

　布隆过滤器可能会误判，当不影响整体，所以目前该方案是处理此类问题最佳方案。

 

数据库里有2000W数据，Redis中只存20W的数据，如何保证 Redis 中的数据都是热点数据？

当 Redis 中的数据集上升到一定大小的时候，就需要实施数据淘汰策略，以保证 Redis 的内存不会被撑爆

这个问题主要考察了以下几点内容：

1.Redis的内存淘汰策略。
2.Redis的最大内存设置。

计算20w的热点数据占据内存的大小。然后在Redis中，配置最大内存容量，在redis.conf文件maxmemory <bytes>标签中配置。
当redis内存数据大小上升到一定大小的时候，就会施行数据淘汰策略。

Redis中提供了6中数据淘汰策略：
1.volatitle-lru 从设置了过期时间的数据集中，选择最近最少使用的数据删除
2.volatitle-ttl 从设置了过期时间的数据集中，选择将要过期的数据删除
3.volatitle-random 从设置了过期时间的数据中，随机选择数据进行删除
4.Allkeys-lru 从数据集中挑选最近最少使用的数据删除
5.Allkeys-random 从数据集中随机挑选数据进行淘汰
6.no-enviction（驱逐）：禁止淘汰数据
因为我们的应用保存热点数据，也就是对缓存的访问符合幂律分布，所以应该选择Allkeys-lru淘汰策略。存放热点数据，不能为数据设置过期时间，设置过期时间也会占用内存。