1、缓存穿透
缓存和数据库中都没有的数据,但是用户不断发起请求,如发起为 id 为“-1”的数据或id为特别大不存在的数据。此时所有的请求都会打到数据库上,导致数据库压力过大。
解决方案:
(1)接口层增加校验,如用户鉴权校验,id做基础校验,id<=0 的直接拦截
(2)如果从缓存和数据库中都没有取到数据,也可以将 key-value 对写为 key-null,然后将缓存有效时间设置短点,如30秒(设置太长会导致正常情况也没法使用)。这样可以防止攻击用户反复用同一个 id 暴力攻击
(3)布隆过滤器,可以快速判断某个Key是否在数据库中存在,不存在 return 空,存在才去查DB,然后刷新键值对再return
2、缓存击穿
指缓存中没有但数据库中有的数据(一般是缓存时间到期),即在某些热点 Key 过期,可能会在瞬间出现大量的并发请求,这时读缓存没读到数据,所有请求打到了数据库,使得数据库压力激增。
解决方案:
(1)设置热点数据永不过期
(2)加互斥锁,大致思路是如果缓存中有数据,直接返回。如果缓存中没有数据,那么第1个进入的线程获取锁,同时从数据库去取数据,在锁没释放之前,其他并行进入的线程会等待一段时间(如100ms),然后再重新取缓存数据。这种方法能避免所有请求都去数据库重复取数据,重复向缓存中更新数据的情况出现
3、缓存雪崩
指缓存中数据大批量到过期时间,而查询数据量巨大,引起数据库压力过大甚至宕机。与缓存击穿的区别是,缓存击穿一般指并发查同一条数据,缓存雪崩是不同数据都过期了,并发查多条数据缓存查不到从而打到数据库。
解决方案:
(1)缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生。
(2)设置热点数据永远不过期。
布隆过滤器
1、布隆过滤器是干嘛的
布隆过滤器是由一个长度为 M 比特的位数组与 K 个哈希函数组成的数据结构。主要用来检索一个元素是否一定不在或可能在一个集合里。
位数组中的元素初始值都为0 ,K 个哈希函数可以把输入数据均匀散列。如图:
插入数据:
当向布隆过滤器中插入元素时,先将该元素通过 K 个哈希函数处理后产生 K 个哈希值,以这些哈希值作为位数组下标,同时将这些下标对应的比特位置为1。
查询数据:
同样是将该元素通过K个哈希函数计算后产生 K 个哈希值,接着检查这些哈希值中对应的比特值。如果其中任意一个比特值为0,说明该元素一定不存在。如果所有比特值都是 1,则说明该元素可能存在。那么你可能会问为什么是可能而不是一定存在?这是因为其他元素经过哈希后一个可能相同的比特位的值也是1。
2、如何选择哈希函数个数和bit数组长度
假设我们预估要存的数据量为 n,期望的误判率为 p。所需的 Bit 数组大小为 m,hash 函数的个数 k。它们的计算关系为:
(1)Bit数组的长度计算公式
(2)哈希函数个数计算公式
3、布隆过滤器的优缺点
优点:
(1)不需要存储数据,只用比特表示,空间占用率上优势明显
(2)检索效率高,插入和查询时间复杂度都为 O(K)(K 是哈希函数个数)。
缺点:
(1)无法判断一个元素一定存在
(2)插入和查询元素容易,删除元素困难。