缓存简单介绍

目录

前言

一、缓存的收益

二、缓存的成本

三、应用场景

四、缓存的更新策略

五、最佳实践

六、缓存优化

1、穿透优化

2、无底洞优化      

3、雪崩优化

4、热点key重建优化

---

前言

本文简单介绍一下缓存相关的知识。

---

一、缓存的收益

1、加速读写
2、降低后端负载

二、缓存的成本

    1、数据不一致
    2、代码维护成本
    3、运维成本

三、应用场景

开销大的复杂计算：以MySQL为例子，一些复杂的操作或者计算（例如大量联表操作、一些分组计算），如果不加缓存，不但无法满足高并发 量，同时也会给MySQL带来巨大的负担。 

加速请求响应：即使查询单条后端数据足够快（例如select*from table where id=），那么依然可以使用缓存，以Redis为例子，每秒可以完成数万次读写，并且提供的批量操作可以优化整个IO链的响应时间。 

四、缓存的更新策略

LRU/FEU/FIFO算法剔除

超时剔除

主动更新.

五、最佳实践

低一致性业务建议配置最大内存和淘汰策略的方式使用。

高一致性业务可以结合使用超时剔除和主动更新，这样即使主动更新出了问题，也能保证数据过期时间后删除脏数据。 

六、缓存优化

1、穿透优化

 缓存穿透是指查询一个根本不存在的数据，缓存层和存储层都不会命中，通常出于容错的考虑，如果从存储层查不到数据则不写入缓存层,过程如下:

1.缓存层不命中。

2.存储层不命中，不将空结果写回缓存。

3.返回空结果。
        

产生原因：
            自身业务代码或者数据出现问题
            一些恶意攻击、爬虫等造成大量空命中
        解决方案：
            缓存空对象:当存储层不命中后，仍然将空对象保留到缓存层中，之后再访问这个数据将会从缓存中获取，这样就保护了后端数据源。
            布隆过滤器:在访问缓存层和存储层之前，将存在的key用布隆过滤 器提前保存起来，做第一层拦截。
    

2、无底洞优化
      

为了满足业务要求添加了 大量新Memcache节点，但是发现性能不但没有好转反而下降了，当时将这 种现象称为缓存的“无底洞”现象
        原因
            客户端一次批量操作会涉及多次网络操作，也就意味着批量操作会随着节点的增多，耗时会不断增大。
            网络连接数变多，对节点的性能也有一定影响。
        解决方案
            串行命令 编程简单、如果少量key 性能可以满足要求，但大量key请求延迟严重，时间复杂度O(keys)
            串行IO 编程简单、如果少量key 性能可以满足要求,大量node延迟严重，时间复杂度O(nodes)
            并行IO 延迟取决于节点快慢，但编程复杂，多线程问题定位难，时间复杂度O(max_slow(nodes)
            Hash_tag  性能最高，但业务维护成本高，容易导致数据倾斜 时间复杂度 O(1)
  

3、雪崩优化

由于缓存层承载着大量请求，有效地保护了存储层，但是如果缓存层由于某些原因不能提供服务，于是所有的请求都会达到存储层，存储层的调用量会暴增，造成存储层也会级联宕机的情 况。缓存雪崩的英文原意是stampeding herd（奔逃的野牛），指的是缓存层宕掉后，流量会像奔逃的野牛一样，打向后端存储。
        解决方案
            保证缓存层的高可用
            依赖隔离组件为后端限流并降级
            提前演练
    

4、热点key重建优化

开发人员使用“缓存+过期时间”的策略既可以加速数据读写，又保证数据的定期更新，这种模式基本能够满足绝大部分需求。但是有两个问题如果同时出现，可能就会对应用造成致命的危害：
当前key是一个热点key（例如一个热门的娱乐新闻），并发量非常大。
重建缓存不能在短时间完成，可能是一个复杂计算，例如复杂的 SQL、多次IO、多个依赖等。

        解决方案
            互斥锁 思路简单、保证一致性但代码复杂度增加、存在死锁风险、存在线程阻塞。
            永不过期 基本杜绝了key过期，但不保证数据一致性，逻辑过期时间增加代码维护成本。