分布式缓存

一、分布式缓存

1、缓存穿透

      缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求，如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者，攻击会导致数据库压力过大。

      解决方案：

    （1） 接口层增加校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截；
    （2） 从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，缓存有效时间可以设置短点，                     如30秒（设置太长会导致正常情况也没法使用）。这样可以防止攻击用户反复用同一个id暴力攻击

2、缓存击穿

     缓存击穿是指缓存中没有但数据库中有的数据（一般是缓存时间到期），这时由于并发用户特别多，同时读缓存没读到数据，又同时去数据库去取数据，引起数据库压力瞬间增大，造成过大压力

      解决方案：

    （1）设置热点数据永远不过期。
    （2）加互斥锁

3、缓存雪崩

      缓存雪崩是指缓存中数据大批量到过期时间，而查询数据量巨大，引起数据库压力过大甚至宕机。和缓存击穿不同的是，        缓存击穿指并发查同一条数据，缓存雪崩是不同数据都过期了，很多数据都查不到从而查数据库。

      解决方案：

 

二、大量数据去重：Bitmap和布隆过滤器（Bloom Filter）

1、Bitmap

         BitMap从字面的意思，很多人认为是位图，其实准确的来说，翻译成基于位的映射。

2、布隆过滤器

         实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。         

          布隆过滤器的原理是，当一个元素被加入集合时，通过K个Hash函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，我们只要看看这些点是不是都是1就（大约）知道集合中有没有它了：如果这些点有任何一个0，则被检元素一定不在；如果都是1，则被检元素很可能在。这就是布隆过滤器的基本思想。

  Redis特性:

(1)速度快 ； （2）键值对的数据结构服务器； （3）丰富的功能； （4）简单稳定；（5）持久化；

（6）主从复制；  （7）高可用和分布式转移；  （8）客户端语言多。

 

Redis使用场景：

（1）缓存数据库； （2）排行榜； （3）计数器应用； （4）社交网络； （5）消息队列；