微服务框架springcloud（高级篇）【3】分布式缓存

（基于Redis集群解决单机Redis存在的问题）

单机的Redis存在四大问题：

一、Redis持久化

Redis有两种持久化方案：   RDB持久化              AOF持久化

1.RDB持久化

RDB全称Redis Database Backup file（Redis数据备份文件），也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后，从磁盘读取快照文件，恢复数据。快照文件称为RDB文件，默认是保存在当前运行目录。

（在Linux系统中安装一个Redis参考下方的Redis集群——一、单机安装Redis）

1）执行时机

RDB持久化在四种情况下会执行：

        执行save命令        执行bgsave命令        Redis停机时        触发RDB条件时

1] save命令

执行下面的命令，可以立即执行一次RDB：

save命令会导致主进程执行RDB，这个过程中其它所有命令都会被阻塞。只有在数据迁移时可能用到。

2] bgsave命令

下面的命令可以异步执行RDB：

这个命令执行后会开启独立进程完成RDB，主进程可以持续处理用户请求，不受影响。

3] 停机时

Redis停机时会执行一次save命令，实现RDB持久化。

4] 触发RDB条件

Redis内部有触发RDB的机制，可以在redis.conf文件中找到，格式如下：

#properties

# 900秒内，如果至少有1个key被修改，则执行bgsave ， 如果是save "" 则表示禁用RDB
save 900 1  
save 300 10  
save 60 10000 

RDB的其它配置也可以在redis.conf文件中设置：

# 是否压缩 ,建议不开启，压缩也会消耗cpu，磁盘的话不值钱
rdbcompression yes

# RDB文件名称
dbfilename dump.rdb  

# 文件保存的路径目录
dir ./ 

2）RDB原理

bgsave开始时会fork主进程得到子进程，子进程共享主进程的内存数据。完成fork后读取内存数据并写入 RDB 文件。

fork采用的是copy-on-write技术：

        当主进程执行读操作时，访问共享内存；

        当主进程执行写操作时，则会拷贝一份数据，执行写操作。

3）小结

RDB方式bgsave的基本流程？

        fork主进程得到一个子进程，共享内存空间

        子进程读取内存数据并写入新的RDB文件

        用新RDB文件替换旧的RDB文件

RDB会在什么时候执行？save 60 1000代表什么含义？

        默认是服务停止时

        代表60秒内至少执行1000次修改则触发RDB

RDB的缺点？

        RDB执行间隔时间长，两次RDB之间写入数据有丢失的风险

        fork子进程、压缩、写出RDB文件都比较耗时

2.AOF持久化

1）AOF原理

AOF全称为Append Only File（追加文件）。Redis处理的每一个写命令都会记录在AOF文件，可以看做是命令日志文件。

2）AOF配置

AOF默认是关闭的，需要修改redis.conf配置文件来开启AOF：

# 是否开启AOF功能，默认是no
appendonly yes
# AOF文件的名称
appendfilename "appendonly.aof"

AOF的命令记录的频率也可以通过redis.conf文件来配：

# 表示每执行一次写命令，立即记录到AOF文件
appendfsync always 
# 写命令执行完先放入AOF缓冲区，然后表示每隔1秒将缓冲区数据写到AOF文件，是默认方案
appendfsync everysec 
# 写命令执行完先放入AOF缓冲区，由操作系统决定何时将缓冲区内容写回磁盘
appendfsync no

三种策略对比：

3）AOF文件重写

因为是记录命令，AOF文件会比RDB文件大的多。而且AOF会记录对同一个key的多次写操作，但只有最后一次写操作才有意义。通过执行bgrewriteaof命令，可以让AOF文件执行重写功能，用最少的命令达到相同效果。

如图，AOF原本有三个命令，但是`set num 123 和 set num 666`都是对num的操作，第二次会覆盖第一次的值，因此第一个命令记录下来没有意义。

所以重写命令后，AOF文件内容就是：`mset name jack num 666`

Redis也会在触发阈值时自动去重写AOF文件。阈值也可以在redis.conf中配置：

# AOF文件比上次文件 增长超过多少百分比则触发重写
auto-aof-rewrite-percentage 100
# AOF文件体积最小多大以上才触发重写 
auto-aof-rewrite-min-size 64mb 

3.RDB与AOF对比

RDB和AOF各有优缺点，如果对数据安全性要求较高，在实际开发中往往会结合两者来使用。

二、Redis主从

1.搭建主从架构

单节点Redis的并发能力是有上限的，要进一步提高Redis的并发能力，就需要搭建主从集群，实现读写分离。

（具体搭建流程参考下方的Redis集群——二、Redis主从集群）

假设有A、B两个Redis实例，如何让B作为A的slave节点？

        在B节点执行命令：slaveof     A的IP     A的port

2.主从数据同步原理

1）全量同步

主从第一次建立连接时，会执行全量同步，将master节点的所有数据都拷贝给slave节点，流程：

这里有一个问题，master如何得知salve是第一次来连接呢？？

有几个概念，可以作为判断依据：

        Replication Id：简称replid，是数据集的标记，id一致则说明是同一数据集。每一个master都有唯一的replid，slave则会继承master节点的replid

        offset：偏移量，随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slave的offset小于master的offset，说明slave数据落后于master，需要更新。

因此slave做数据同步，必须向master声明自己的replication id 和offset，master才可以判断到底需要同步哪些数据。

因为slave原本也是一个master，有自己的replid和offset，当第一次变成slave，与master建立连接时，发送的replid和offset是自己的replid和offset。

master判断发现slave发送来的replid与自己的不一致，说明这是一个全新的slave，就知道要做全量同步了。

master会将自己的replid和offset都发送给这个slave，slave保存这些信息。以后slave的replid就与master一致了。

因此，master判断一个节点是否是第一次同步的依据，就是看replid是否一致

如图：

完整流程描述：

        slave节点请求增量同步

        master节点判断replid，发现不一致，拒绝增量同步

        master将完整内存数据生成RDB，发送RDB到slave

        slave清空本地数据，加载master的RDB

        master将RDB期间的命令记录在repl_baklog，并持续将log中的命令发送给slave

        slave执行接收到的命令，保持与master之间的同步

2）增量同步

全量同步需要先做RDB，然后将RDB文件通过网络传输个slave，成本太高了。因此除了第一次做全量同步，其它大多数时候slave与master都是做增量同步。（主从第一次同步是全量同步，但如果slave重启后同步，则执行增量同步）

什么是增量同步？就是只更新slave与master存在差异的部分数据。如图：

那么master怎么知道slave与自己的数据差异在哪里呢?

3）repl_backlog原理

master怎么知道slave与自己的数据差异在哪里呢?

这就要说到全量同步时的repl_baklog文件了。

这个文件是一个固定大小的数组，只不过数组是环形，也就是说角标到达数组末尾后，会再次从0开始读写，这样数组头部的数据就会被覆盖。

repl_baklog中会记录Redis处理过的命令日志及offset，包括master当前的offset，和slave已经拷贝到的offset：

slave与master的offset之间的差异，就是salve需要增量拷贝的数据了。

随着不断有数据写入，master的offset逐渐变大