目录
前言
本文简单介绍一下缓存相关的知识。
一、缓存的收益
1、加速读写
2、降低后端负载
二、缓存的成本
1、数据不一致
2、代码维护成本
3、运维成本
三、应用场景
开销大的复杂计算:以MySQL为例子,一些复杂的操作或者计算(例如大量联表操作、一些分组计算),如果不加缓存,不但无法满足高并发 量,同时也会给MySQL带来巨大的负担。
加速请求响应:即使查询单条后端数据足够快(例如select*from table where id=),那么依然可以使用缓存,以Redis为例子,每秒可以完成数万次读写,并且提供的批量操作可以优化整个IO链的响应时间。
四、缓存的更新策略
LRU/FEU/FIFO算法剔除
超时剔除
主动更新.
五、最佳实践
低一致性业务建议配置最大内存和淘汰策略的方式使用。
高一致性业务可以结合使用超时剔除和主动更新,这样即使主动更新出了问题,也能保证数据过期时间后删除脏数据。
六、缓存优化
1、穿透优化
缓存穿透是指查询一个根本不存在的数据,缓存层和存储层都不会命中,通常出于容错的考虑,如果从存储层查不到数据则不写入缓存层,过程如下:
1.缓存层不命中。
2.存储层不命中,不将空结果写回缓存。
3.返回空结果。
产生原因:
自身业务代码或者数据出现问题
一些恶意攻击、爬虫等造成大量空命中
解决方案:
缓存空对象:当存储层不命中后,仍然将空对象保留到缓存层中,之后再访问这个数据将会从缓存中获取,这样就保护了后端数据源。
布隆过滤器:在访问缓存层和存储层之前,将存在的key用布隆过滤 器提前保存起来,做第一层拦截。
2、无底洞优化
为了满足业务要求添加了 大量新Memcache节点,但是发现性能不但没有好转反而下降了,当时将这 种现象称为缓存的“无底洞”现象
原因
客户端一次批量操作会涉及多次网络操作,也就意味着批量操作会随着节点的增多,耗时会不断增大。
网络连接数变多,对节点的性能也有一定影响。
解决方案
串行命令 编程简单、如果少量key 性能可以满足要求,但大量key请求延迟严重,时间复杂度O(keys)
串行IO 编程简单、如果少量key 性能可以满足要求,大量node延迟严重,时间复杂度O(nodes)
并行IO 延迟取决于节点快慢,但编程复杂,多线程问题定位难,时间复杂度O(max_slow(nodes)
Hash_tag 性能最高,但业务维护成本高,容易导致数据倾斜 时间复杂度 O(1)
3、雪崩优化
由于缓存层承载着大量请求,有效地保护了存储层,但是如果缓存层由于某些原因不能提供服务,于是所有的请求都会达到存储层,存储层的调用量会暴增,造成存储层也会级联宕机的情 况。缓存雪崩的英文原意是stampeding herd(奔逃的野牛),指的是缓存层宕掉后,流量会像奔逃的野牛一样,打向后端存储。
解决方案
保证缓存层的高可用
依赖隔离组件为后端限流并降级
提前演练
4、热点key重建优化
开发人员使用“缓存+过期时间”的策略既可以加速数据读写,又保证数据的定期更新,这种模式基本能够满足绝大部分需求。但是有两个问题如果同时出现,可能就会对应用造成致命的危害:
当前key是一个热点key(例如一个热门的娱乐新闻),并发量非常大。
重建缓存不能在短时间完成,可能是一个复杂计算,例如复杂的 SQL、多次IO、多个依赖等。
解决方案
互斥锁 思路简单、保证一致性但代码复杂度增加、存在死锁风险、存在线程阻塞。
永不过期 基本杜绝了key过期,但不保证数据一致性,逻辑过期时间增加代码维护成本。