缓存原理
缓存穿透
缓存穿透:指用户查询数据,在数据库没有,自然在缓存中也不会有。这样就导致用户查询的时候,在缓存中找不到,每次都要去数据库再查询一遍,然后返回空(相当于进行了两次无用的查询)。这样请求就绕过缓存直接查数据库,这也是经常提的缓存命中率问题。
解决方案
- 缓存空值/缺省值
如果一个查询返回的数据为空(不管是数据不存在,还是系统故障),我们仍然把这个空结果进行缓存,但它的过期时间会很短,最长不超过五分钟。通过这个直接设置的默认值存放到缓存,这样第二次到缓冲中获取就有值了,而不会继续访问数据库。 - 布隆过滤器
快速判断数据是否存在,避免从数据库中查询数据是否存在,减轻数据库压力。
将所有可能存在的数据哈希到一个足够大的bitmap中,一个一定不存在的数据会被这个bitmap拦截掉,从而避免了对底层存储系统的查询压力。
布隆过滤器
布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。
- 优点:空间效率和查询时间都远远超过一般的算法。
- 缺点:有一定的误识别率,删除困难。
布隆过滤器原理
布隆过滤器本质上是一个初始值都为 0 的 二进制数组和 N 个哈希函数组成。
当我们想标记某个数据存在时(例如,数据x已被写入数据库),布隆过滤器会通过三个操作完成标记:
- 首先,使用 N 个哈希函数,分别计算这个数据的哈希值,得到 N 个哈希值。
- 然后,我们把这 N 个哈希值对 bit 数组的长度取模,得到每个哈希值在数组中的对应位置。
- 最后,我们把对应位置的 bit 位设置为 1,这就完成了在布隆过滤器中标记数据的操作。
具体了解布隆过滤器可参考文章:谈谈布隆过滤器
缓存击穿
缓存击穿:缓存中没有数据(一般是缓存时间到期),导致并发请求同时先去取缓存数据,没取到数据,所以又同时去数据库取数据,引起数据库压力瞬间增大,造成过大压力。
缓存击穿一般针对的是后一个Key。当缓存在某个时间点过期的时候,恰好在这个时间点对这个Key有大量的并发请求过来,这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存,这个时候大并发的请求可能会瞬间把后端DB压垮。
解决方案
- 使用互斥锁
单机可以使用synchronized、lock,分布式可以使用lua脚本。
在并发的多个请求中,只有第一个请求线程能拿到锁并执行数据库查询操作,其他的线程拿不到锁就阻塞等着,等到第一个线程将数据写入缓存后,直接走缓存。 - 设置热点数据永不过期
缓存不设置失效时间,有更新的话,需要更新缓存。
缓存雪崩
缓存雪崩:原有缓存失效,新缓存未到期间所有原本应该访问缓存的请求都去查询数据库了,而对数据库CPU和内存造成巨大压力,严重的会造成数据库宕机。从而形成一系列连锁反应,造成整个系统崩溃。
缓存击穿指并发查同一条数据;缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库。
解决方案
- 不同key设置不同的缓存失效时间(给每个key的失效时间加一个随机值);
防止同一时间大量数据过期现象发生。 - 热点数据永不过期
不设置失效时间,有更新的话,需要更新缓存。 - 缓存失效标记
给每一个缓存数据增加相应的缓存标记,记录缓存的是否失效,如果缓存标记失效,则更新数据缓存。 - 加锁
避免失效时大量的并发请求同时到数据库。
穿透、击穿、雪崩对比
缓存问题 | 针对数据 | 描述 |
---|---|---|
缓存穿透 | 某个数据 | 某个数据缓存中没有,该数据的并发请求每次都要去数据库查 |
缓存击穿 | 某个数据 | 某个数据刚好过期,该数据的并发请求全都去数据库查 |
缓存雪崩 | 不同数据 | 不同数据都刚好过期,并发请求全都去数据库查 |
缓存预热
缓存预热:系统上线后,将相关的缓存数据直接加载到缓存系统。这样就可以避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!用户直接查询事先被预热的缓存数据!
缓存更新
除了缓存服务器自带的缓存失效策略之外(Redis默认的有6中策略可供选择),我们还可以根据具体的业务需求进行自定义的缓存淘汰,常见的策略有两种:
- 定时去清理过期的缓存;
- 当有用户请求过来时,再判断这个请求所用到的缓存是否过期,过期的话就去底层系统得到新数据并更新缓存。
缓存降级
当访问量剧增、服务出现问题(如响应时间慢或不响应)或非核心服务影响到核心流程的性能时,仍然需要保证服务还是可用的,即使是有损服务。系统可以根据一些关键数据进行自动降级,也可以配置开关实现人工降级。
降级的最终目的是保证核心服务可用,即使是有损的。而且有些服务(核心业务)是无法降级的(如加入购物车、结算)。
针对不同的数据采用不同的处理方式:
- 非核心数据,直接返回预定义信息、空值或者报错;
- 核心数据,则允许访问缓存,如果缓存缺失,可以读取数据库。