分布式复习-redis 解决方案

redis缓存更新

如何保证redis缓存和数据库中数据的一致性

方案一：先删除缓存，再跟新数据库

     并发情况下，一个更新，一个查询，更新操作删除缓存后，查询操作没有命中缓存，先把老数据读出来后放到缓存中，然后更新操作更新了数据库。于是，在缓存中的数据还是老的数据，导致缓存中的数据是脏的，而且还一直这样脏下去了。

方案二：先更新数据库，再删除缓存

一个是读操作，但是没有命中缓存，然后就到数据库中取数据，此时来了一个写操作，写完数据库后，让缓存失效，然后，之前的那个读操作再把老的数据放进去，所以，会造成脏数据。

因为写和读是并发的，没法保证顺序，如果删除了缓存，还没有来得及写库，另一个线程就来读取，发现缓存为空，则去数据库中读取数据写入缓存，此时缓存中为脏数据。如果先写了库，在删除缓存前，写库的线程宕机了，没有删除掉缓存，则也会出现数据不一致情况。

方案三 ：跟新数据时 只更新缓存，然后通过异步调度去批量更新数据库

 

redis缓存穿透 缓存雪崩

缓存雪崩：由于原有的缓存过期失效，新的缓存还没有缓存进来，有一只请求缓存请求不到，导致所有请求都跑去了数据库，导致数据库IO、内存和CPU压力过大，甚至导致宕机，使得整个系统崩溃。

解决思路：
1，采用加锁计数，或者使用合理的队列数量来避免缓存失效时对数据库造成太大的压力。这种办法虽然能缓解数据库的压力，但是同时又降低了系统的吞吐量。
2，分析用户行为，尽量让失效时间点均匀分布。避免缓存雪崩的出现。
3，如果是因为某台缓存服务器宕机，可以考虑做主备，比如：redis主备，但是双缓存涉及到更新事务的问题，update可能读到脏数据，需要好好解决。

加锁：加锁排队只是为了减轻数据库的压力，并没有提高系统吞吐量。假设在高并发下，缓存重建期间key是锁着的，这是过来1000个请求999个都在阻塞的。同样会导致用户等待超时，这是个治标不治本的方法。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

public class CacheDemo {     public object GetCacheDataList()         {             const int cacheTime = 60;                const string lockKey = cacheKey;             const string cacheKey = "datainfolist";                   var cacheValue = CacheHelper.Get(cacheKey);             if (cacheValue != null)             {                 return cacheValue;             }             else             {                 lock (lockKey)                 {                     cacheValue = CacheHelper.Get(cacheKey);                     if (cacheValue != null)                     {                         return cacheValue;                     }                     else                     {                         cacheValue = GetDataBaseInfo();                                       CacheHelper.Add(cacheKey, cacheValue, cacheTime);                     }                                    }                 return cacheValue;             }         } }

　　缓存失效：

        缓存标记：记录缓存数据是否过期，如果过期会触发通知另外的线程在后台去更新实际key的缓存。

　　缓存数据：它的过期时间比缓存标记的时间延长1倍 ，例：标记缓存时间30分钟，数据缓存设置为60分钟。 这样，当缓存标记key过期后，实际缓存还能把旧数据返回给调用端，直到另外的线程在后台更新完成后，才会返回新缓存。

　　这样做后，就可以一定程度上提高系统吞吐量。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

public object GetProductListNew()         {             const int cacheTime = 30;             const string cacheKey = "product_list";             //缓存标记。             const string cacheSign = cacheKey + "_sign";                           var sign = CacheHelper.Get(cacheSign);             //获取缓存值             var cacheValue = CacheHelper.Get(cacheKey);             if (sign != null)             {                 return cacheValue; //未过期，直接返回。             }             else             {                 CacheHelper.Add(cacheSign, "1", cacheTime);                 ThreadPool.QueueUserWorkItem((arg) =>                 {                     cacheValue = GetProductListFromDB(); //这里一般是 sql查询数据。                     CacheHelper.Add(cacheKey, cacheValue, cacheTime*2); //日期设缓存时间的2倍，用于脏读。                                });                                   return cacheValue;             }         }

　　缓存穿透：

缓存穿透是指用户查询数据，在数据库没有，自然在缓存中也不会有。这样就导致用户查询的时候，在缓存中找不到，每次都要去数据库再查询一遍，然后返回空。这样请求就绕过缓存直接查数据库，这也是经常提的缓存命中率问题。

解决思路：

1，如果查询数据库也为空，直接设置一个默认值存放到缓存，这样第二次到缓冲中获取就有值了，而不会继续访问数据库，这种办法最简单粗暴。

2，根据缓存数据Key的规则。例如我们公司是做机顶盒的，缓存数据以Mac为Key，Mac是有规则，如果不符合规则就过滤掉，这样可以过滤一部分查询。在做缓存规划的时候，Key有一定规则的话，可以采取这种办法。这种办法只能缓解一部分的压力，过滤和系统无关的查询，但是无法根治。

3，采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的BitSet中，不存在的数据将会被拦截掉，从而避免了对底层存储系统的查询压力。关于布隆过滤器，详情查看：基于BitSet的布隆过滤器(Bloom Filter) 

大并发的缓存穿透会导致缓存雪崩。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

public object GetProductListNew()         {             const int cacheTime = 30;             const string cacheKey = "product_list";               var cacheValue = CacheHelper.Get(cacheKey);             if (cacheValue != null)                 return cacheValue;                               cacheValue = CacheHelper.Get(cacheKey);             if (cacheValue != null)             {                 return cacheValue;             }             else             {                 cacheValue = GetProductListFromDB(); //数据库查询不到，为空。                                   if (cacheValue == null)                 {                     cacheValue = string.Empty; //如果发现为空，设置个默认值，也缓存起来。                                }                 CacheHelper.Add(cacheKey, cacheValue, cacheTime);                                   return cacheValue;             }         }

　　把空结果，也给缓存起来，这样下次同样的请求就可以直接返回空了，即可以避免当查询的值为空时引起的缓存穿透。同时也可以单独设置个缓存区域存储空值，对要查询的key进行预先校验，然后再放行给后面的正常缓存处理逻辑。

缓存预热

　　缓存预热就是系统上线后，将相关的缓存数据直接加载到缓存系统。这样避免，用户请求的时候，再去加载相关的数据。

　　解决思路：

　　　　1，直接写个缓存刷新页面，上线时手工操作下。

　　　　2，数据量不大，可以在WEB系统启动的时候加载。

　　　　3，定时刷新缓存