Redis缓存与数据一致性

一、实时同步

对强一致要求比较高的，应采用实时同步方案，即查询缓存查询不到再从DB查询，保存到缓存；更新缓存时，先更新数据库，再将缓存的设置过期(建议不要去更新缓存内容，直接设置缓存过期)。
@Cacheable：查询时使用，注意Long类型需转换为Sting类型，否则会抛异常
@CachePut：更新时使用，使用此注解，一定会从DB上查询数据
@CacheEvict：删除时使用；
@Caching：组合用法

非实时同步
实时：一方修改，另一方同步修改
非实时：一方修改，另一方不需要同步修改
一个文章，一分钟内被100万点击（点击数100w)
定时任务(凌晨2点触发定时任务)：将redis中的num值查询出来更新到mysql
redis： incr num ,num=1000000
mysql：num:0

二、 异步队列

对于并发程度较高的，可采用异步队列的方式同步，可采用kafka等消息中间件处理消息生产和消费。
核心：
流量的削峰
中间件：解决方案
消息队列：
activemq
rabbitmq 优点消息可靠性高（0丢失）功能强大（收费）
kafka 免费 性能高，顺序io存储在硬盘
rocketmq apache

三、使用阿里的同步工具canal

canal实现方式是模拟mysql slave和master的同步机制，监控DB bitlog的日志更新来触发缓存的更新，此种方法可以解放程序员双手，减少工作量，但在使用时有些局限性。
mysql主备复制实现

从上层来看，复制分成三步：

1、master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；
2、slave将master的binary log events拷贝到它的中继日志(relay log)；
3、slave重做中继日志中的事件，将改变反映它自己的数据。

canal的工作原理：
原理相对比较简单：
1、canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
2、mysql master收到dump请求，开始推送binary log给slave(也就是canal)
3、canal解析binary log对象(原始为byte流)
详情参考canal简书
https://www.jianshu.com/p/87944efe1005

四、采用UDF自定义函数的方式

面对mysql的API进行编程，利用触发器进行缓存同步，但UDF主要是c/c++语言实现，学习成本高

五、Redis关键词

缓存穿透

缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时需要从数据库查询，查不到数据不写入缓存，这将 导致这个不存在的数据每次请求都要到数据库去查询，造成缓存穿透。
解决方法：持久层查询不到就缓存空结果，查询时先判断缓存中是否exists(key)，如果有直接返回空，没有则查询后返回
注意 insert时需要清除查询的key，否则几遍DB中有值也查询不到（也可以设置空缓存的过期时间）

缓存雪崩

雪崩：缓存大量失效的时候，引发大量查询数据库
解决方法：1、用锁/分布式锁或者队列串行访问
2、缓存失效时间均匀分布
加锁排队限流—限流算法
在缓存失效后，通过加锁或者队列来控制读数据库写缓存的数据量，比如对某个key只允许一个线程查询数据和写，其他线程等待。
简单来说，就是在缓存失效的时候（判断拿出来的值是空），不是立即去load db，而是先使用缓存工具的某些带成功操作返回值的操作（Redis的SETNX）去set一个mutex key,当操作返回成功时，再进行load db的操作并回设缓存，否则，重试整个get缓存的方法
SETNX：SET If Not eXists 的缩写，只有在不存在的时候才设置，可以用它来实现锁的效果
数据预热
可以通过缓存的reload机制，预先去更新缓存，再即将发生大并发访问前手动触发加载缓存不同的key,设置不同的过期时间，让缓存失效的时间点尽量均匀

热点Key

某个Key访问非常频繁，当key失效的时候有大量线程来构建缓存，导致负载增加，系统崩溃。
解决方法：
1、使用锁，单机使用synchronized，lock等，分布式用分布式锁
2、缓存过期时间不设置，而是设置在key对应的value里，如果检测到存的时间超过过期则异步更新缓存
3、在value设置一个比过期时间t0小的时间t1,当t1过期的时候，延长t1并做更新操作
4、设置标签缓存，标签缓存设置过期时间后，标签缓存过期后，需异步地更新实际缓存