一、分布式缓存
1、缓存穿透
缓存穿透是指缓存和数据库中都没有的数据,而用户不断发起请求,如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者,攻击会导致数据库压力过大。
解决方案:
(1) 接口层增加校验,如用户鉴权校验,id做基础校验,id<=0的直接拦截;
(2) 从缓存取不到的数据,在数据库中也没有取到,这时也可以将key-value对写为key-null,缓存有效时间可以设置短点, 如30秒(设置太长会导致正常情况也没法使用)。这样可以防止攻击用户反复用同一个id暴力攻击
2、缓存击穿
缓存击穿是指缓存中没有但数据库中有的数据(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力
解决方案:
(1)设置热点数据永远不过期。
(2)加互斥锁
3、缓存雪崩
缓存雪崩是指缓存中数据大批量到过期时间,而查询数据量巨大,引起数据库压力过大甚至宕机。和缓存击穿不同的是, 缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而查数据库。
解决方案:
二、大量数据去重:Bitmap和布隆过滤器(Bloom Filter)
1、Bitmap
BitMap从字面的意思,很多人认为是位图,其实准确的来说,翻译成基于位的映射。
2、布隆过滤器
实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。
布隆过滤器的原理是,当一个元素被加入集合时,通过K个Hash函数将这个元素映射成一个位数组中的K个点,把它们置为1。检索时,我们只要看看这些点是不是都是1就(大约)知道集合中有没有它了:如果这些点有任何一个0,则被检元素一定不在;如果都是1,则被检元素很可能在。这就是布隆过滤器的基本思想。
Redis特性:
(1)速度快 ; (2)键值对的数据结构服务器; (3)丰富的功能; (4)简单稳定;(5)持久化;
(6)主从复制; (7)高可用和分布式转移; (8)客户端语言多。
Redis使用场景:
(1)缓存数据库; (2)排行榜; (3)计数器应用; (4)社交网络; (5)消息队列;