06.Redis缓存设计与优化

缓存穿透

缓存穿透是指缓存和数据库都没有数据，导致请求落在数据库上，造成数据库短时间内承受大量请求而崩溃。

造成缓存穿透的原因：

• 系统业务代码或数据出现问题
• 恶意攻击、爬虫等造成大量空命中

解决方案：

• 缓存空对象，并设置过期时间
• 布隆过滤器（见后文）

缓存雪崩

缓存同一时间大面积的失效、缓存层支撑不住或宕机后，后面的所有请求都落在数据库上，造成数据库短时间压力巨大而崩掉。

解决方案：

针对缓存大面积失效：

• 缓存数据设置随机过期时间，业务时间 + 随机时间
• 缓存预热
• 互斥锁

针对缓存扛不住压力、宕机：

• 保证缓存层服务高可用性，比如使用Redis Sentinel或Redis Cluster
• 赖隔离组件为后端限流熔断并降级。比如使用 Sentinel 或 Hystrix 限流降级组件
• 项目上线前提前测试后端负载情况及可能出现的问题，并做好预设方案

缓存击穿（失效）

缓存中没有，而数据库中存在。在并发用户特别多的时候，同时读缓存没有，又同时去查数据库，引起数据库压力剧增。与缓存雪崩不同的是，缓存击穿是同一条数据（单一key）过期，而缓存雪崩是不同数据大面积过期。

解决方案：

• 设置热点数据永不过期
• 加互斥锁

热点缓存key重建优化

开发人员使用“缓存+过期时间”的策略既可以加速数据读写， 又保证数据的定期更新， 这种模式基本能够满足绝大部分需求。 但是有两个问题如果同时出现， 可能就会对应用造成致命的危害：

• 当前 key 是一个热点key（例如以前经常崩溃的微博热搜、某娱乐新闻），并发量非常大。
• 重建缓存不能在短时间完成， 可能是一个复杂计算， 例如复杂的SQL、 多次IO、 多个依赖等。

在缓存失效的瞬间， 有大量线程来重建缓存， 造成后端负载加大， 甚至可能会让应用崩溃。可以使用互斥锁解决，只允许一个线程对缓存进行重建。重建完成，其他线程都从缓存中去取。

BitMap(位图)

BitMap 是用一个 bit 位来标记某个元素对应的 Value （0 或 1）， 而 Key 即是该元素。由于采用了 Bit 为单位来存储数据，极为节省存储空间。

应用场景：

• 统计大量数据情况下的日活跃用户数、月活跃用户数、周活跃用户数等
• 大量数据下的连续签到
• 数据快速查找、判重、删除
• 去重数据而达到压缩数据

Redis 中的 BitMap:

• 最大 512M，2³² - 1 次方bit，可存储 42 亿 9 千万数据

• 提供了操作 BitMap 的命令

  #常用命令
  SetBit login_02_11 10086 1 #设置BitMap login_02_11 第10086位为1
  GetBit login_02_11 10086 #获取 BitMap login_02_11 第10086为
  #统计BitMap login_02_11 中的数量，两个参数分别为始末字节数，不加全部
  #strlen login_02_11 得字节数，1byte=8bit 乘以8得到位数
  BitCount login_02_11 [start] [end]
  BitTop and dest_y key[] #按位与
  BitTop or destKey key[] #按位或
  

布隆过滤器

类似于 BitMap 的存储数据结构，想布隆过滤器添加 key 时，会使用多个 Hash 函数进行 Hash 得到一个索引值，然后对数组长度取模，得到这个 key 在布隆过滤器中的偏移量，然后将该位置的值置为 1。有极小的概率，两个或多个 key 进行 Hash 后，落在同一位置。基于这种结构，当布隆过滤器判断**某个值存在时，这个值可能不存在；当它判断为不存在时，那就肯定不存在。这种方法适用于数据命中不高、 数据相对固定、 实时性低（通常是数据集较大） 的应用场景， 代码维护较为复杂， 但是缓存空间占用很少**。需要注意的是：布隆过滤器不能删除数据，如果要删除得重新初始化数据。

Redisson 中整合了布隆过滤器，可以直接使用：

<dependency>
   <groupId>org.redisson</groupId>
   <artifactId>redisson</artifactId>
   <version>3.6.5</version>
</dependency>

示例代码：

RBloomFilter<String> bloomFilter = redisson.getBloomFilter("nameList");
//初始化布隆过滤器：预计元素为100000000L,误差率为2%,这两个参数据定了底层的bit数组大小
bloomFilter.tryInit(100000000L,0.02);
//将字符串"zhangsan"插入到布隆过滤器中
bloomFilter.add("zhangsan");

//判断字符串是否在布隆过滤器中
System.out.println(bloomFilter.contains("张三"));//true

布隆过滤器防止缓存穿透：

• 率先将所有的数据都存入布隆过滤器中
• 增加数据时，同时将数据存入布隆过滤器中
• 查询缓存前先从布隆过滤器中判断 key 是否存在，不存在则不继续走后续逻辑

缓存与数据库双写不一致问题

在大并发情况下，同时操作数据库与缓存，就可能带来数据库与缓存数据不一致问题

解决方案

• 对应并发量不大的业务情况下，不需要考虑这种问题，直接给缓存加过期时间，每次写是更新缓存，读时没找到就查数据库更新缓存
• 如果并发量大，且能容忍短时间内的数据不一致问题（如商品名称、分类信息等），也不需要考虑
• 如果不能容忍缓存与数据库不一致，可以加读写锁来保证，也会损失服务性能
• 使用阿里开源的 canal 通过监听数据库的 binlog 日志，及时修改缓存，但是引入了新的中间件，会增加系统复杂度

读多写少的情况加入缓存提高性能，如果写多读多的情况又不能容忍缓存数据不一致，那就没必要加缓存了，可以直接操作数据库。如果数据库抗不住压力，还可以把缓存作为数据读写的主存储，异步将数据同步到数据库，数据库只是作为数据的备份。放入缓存的数据应该是对实时性、一致性要求不是很高的数据。不能因为为了用缓存，且需要保证数据一致性做大量的设计，增大系统复杂度。

缓存开发规范与性能优化

键值对设计

1. key名设计

(1)【建议】: 可读性和可管理性

以业务名(或数据库名)为前缀(防止key冲突)，用冒号分隔，比如业务名:表名:id

(2)【建议】：简洁性

保证语义的前提下，控制key的长度，当key较多时，内存占用也不容忽视

(3)【强制】：不要包含特殊字符

反例：包含空格、换行、单双引号以及其他转义字符

2.value设计

(1)【强制】：拒绝bigkey(防止网卡流量、慢查询)

什么是 bigkey?

• 字符串类型：它的big体现在单个value值很大，一般认为超过10KB就是bigkey
• 非字符串类型：哈希、列表、集合、有序集合，它们的 big 体现在元素个数太多(非字符串的bigkey，不要使用del删除，可以使用hscan、sscan、zscan方式渐进式删除，同时要注意防止bigkey过期时间自动删除问题(例如一个200万的zset设置1小时过期，会触发del操作，造成阻塞）)

产生场景：

• 社交类：粉丝列表，例如某大V，如果不设计 key，直接存储，粉丝可能过亿
• 统计类：例如按天存储某项功能或者网站的用户集合
• 缓存类：将数据从数据库查询出来序列化存储到 Redis 中

bigkey的优化

1、拆分存储

• big list： list1、list2、…listN
• big hash：可以讲数据分段存储，比如一个大的key，假设存了1百万的用户数据，可以拆分成200个key，每个key下面存放5000个用户数据

2、如果 bigkey 不可避免，思考是不是能够将元素分多次取出(例如有时候仅仅需要 hmget，而不是hgetall)，删除也是一样，尽量使用优雅的方式来处理。

(2)【建议】：选择合适的数据类型

反例

set user:1:name bob
set user:1:age 18

优化

hmset user:1 name bob age 18

(3)【建议】：控制key的生命周期

命令使用

1.【建议】 O(N)命令关注N的数量

例如 hgetall、lrange、smembers、zrange、sinter等并非不能使用，但是需要明确N的值。有遍历的需求可以使用hscan、sscan、zscan 渐进式遍历代替。

2.【建议】：禁用命令

禁止线上使用 keys、flushall、flushdb 等，通过 Redis 的 rename 机制禁掉命令，或者使用 scan 的方式渐进式处理。

3.【建议】合理使用select

Redis 的多数据库较弱，使用数字进行区分，很多客户端支持较差，同时多业务用多数据库实际还是单线程处理，会有干扰。

4.【建议】使用批量操作或管道提高效率

5.【建议】Redis事务功能较弱，不建议过多使用，可以用lua替代

客户端的使用

1.【建议】避免多个应用使用一个 Redis 实例不相干的业务拆分，公共数据做服务化

2.【建议】使用带有连接池的数据库，可以有效控制连接，同时提高效率

连接池参数含义：

序号	参数名	含义	默认值	使用建议
1	maxTotal	资源池中最大连接数	8	见下文
2	maxIdle	资源池允许最大空闲的连接数	8	见下文
3	minIdle	资源池确保最少空闲的连接数	0	见下文
4	blockWhenExhausted	当资源池用尽后，调用者是否要等待。只有当为true时，下面的maxWaitMillis才会生效	true	使用默认值
5	maxWaitMillis	当资源池连接用尽后，调用者的最大等待时间(单位为毫秒)	-1：表示永不超时	不建议使用默认值
6	testOnBorrow	向资源池借用连接时是否做连接有效性检测(ping)，无效连接会被移除	false	业务量很大时候建议设置为false(多一次ping的开销)。
7	testOnReturn	向资源池归还连接时是否做连接有效性检测(ping)，无效连接会被移除	false	业务量很大时候建议设置为false(多一次ping的开销)。
8	jmxEnabled	是否开启jmx监控，可用于监控	true	建议开启，但应用本身也要开启

优化建议：

1）maxTotal：最大连接数，早期的版本叫 maxActive

需要考虑多种因素：

• 业务期望 Redis 并发量
• 客户端执行命令时间
• Redis资源：例如 nodes(例如应用个数) * maxTotal 是不能超过 Redis 的最大连接数 maxclients
• 资源开销：例如虽然希望控制空闲连接(连接池此刻可马上使用的连接)，但是不希望因为连接池的频繁释放创建连接造成不必靠开销

假设:

• 一次命令时间（borrow|return resource + Jedis执行命令(含网络) ）的平均耗时约为1ms，一个连接的QPS大约是1000
• 业务期望的QPS是50000

那么理论上需要的资源池大小是50000 / 1000 = 50个。但事实上这是个理论值，还要考虑到要比理论值预留一些资源，通常来讲maxTotal可以比理论值大一些。但这个值不是越大越好，一方面连接太多占用客户端和服务端资源，另一方面对于Redis这种高QPS的服务器，一个大命令的阻塞即使设置再大资源池仍然会无济于事。

2）maxIdle 和 minIdle

maxIdle 实际上才是业务需要的最大连接数，maxTotal 是为了给出余量，所以 maxIdle 不要设置过小，否则会有创建新连接的开销。连接池的最佳性能是maxTotal = maxIdle，这样就避免连接池伸缩带来的性能干扰。但是如果并发量不大或者 maxTotal 设置过高，会导致不必要的连接资源浪费。一般推荐 maxIdle 可以设置为按上面的业务期望 QPS 计算出来的理论连接数，maxTotal 可以再放大一倍。

minIdle（最小空闲连接数），与其说是最小空闲连接数，不如说是"至少需要保持的空闲连接数"，在使用连接的过程中，如果连接数超过了minIdle，那么继续建立连接，如果超过了maxIdle，当超过的连接执行完业务后会慢慢被移出连接池释放掉。

如果系统启动完马上就会有很多的请求过来，那么可以给 Redis 连接池做预热，比如快速的创建一些 Redis 连接，执行简单命令，类似ping()，快速的将连接池里的空闲连接提升到 minIdle 的数量。

3.【建议】高并发下建议客户端添加熔断功能(例如sentinel、hystrix)

4.【建议】设置合理的密码，如有必要可以使用SSL加密访问

5.【建议】

Redis对于过期键有三种清除策略：

1. 被动删除：当读/写一个已经过期的 key 时，会触发惰性删除策略，直接删除掉这个过期 key
2. 主动删除：由于惰性删除策略无法保证冷数据被及时删掉，所以Redis会定期主动淘汰一批已过期的key
3. 当前已用内存超过 maxmemory 限定时，触发主动清理策略

主动清理策略在Redis 4.0 之前一共实现了 6 种内存淘汰策略，在 4.0 之后，又增加了 2 种策略，总共8种：

a) 针对设置了过期时间的key做处理：

1. volatile-ttl：在筛选时，会针对设置了过期时间的键值对，根据过期时间的先后进行删除，越早过期的越先被删除。
2. volatile-random：就像它的名称一样，在设置了过期时间的键值对中，进行随机删除。
3. volatile-lru：会使用 LRU 算法筛选设置了过期时间的键值对删除。
4. volatile-lfu：会使用 LFU 算法筛选设置了过期时间的键值对删除。

b) 针对所有的key做处理：

1. allkeys-random：从所有键值对中随机选择并删除数据。
2. allkeys-lru：使用 LRU 算法在所有数据中进行筛选删除。
3. allkeys-lfu：使用 LFU 算法在所有数据中进行筛选删除。

c) 不处理：

1. noeviction：不会剔除任何数据，拒绝所有写入操作并返回客户端错误信息"(error) OOM command not allowed when used memory"，此时Redis只响应读操作。

LRU 算法**（Least Recently Used，最近最少使用）**

淘汰很久没被访问过的数据，以最近一次访问时间作为参考。

LFU 算法**（Least Frequently Used，最不经常使用）**

淘汰最近一段时间被访问次数最少的数据，以次数作为参考。

当存在热点数据时，LRU 的效率很好，但偶发性的、周期性的批量操作会导致LRU命中率急剧下降，缓存污染情况比较严重。此时使用 LFU 可能更好。

根据自身业务类型，配置好 maxmemory-policy (默认是 noeviction)，推荐使用 volatile-lru。如果不设置最大内存，当 Redis 内存超出物理内存限制时，内存的数据会开始和磁盘产生频繁的交换 (swap)，会让 Redis 的性能急剧下降。

当 Redis 运行在主从模式时，只有主结点才会执行过期删除策略，然后把删除操作”del key”同步到从结点删除数据。