Redis 持久化

Redis持久化分为两种 AOF RDB：

RDB:

在主从复制中rdb就是备用了 从机上面

在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是行话讲的Snapshot快照，它恢复时是将快照文件直接读到内存里。Redis会单独创建 ( fork )一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的。这就确保了极高的性能。如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。我们默认的就是RDB，一般情况下不需要修改这个配置!zairdb保存的文件是dump.rdb 都是在我们的配置文件中快照中进行配置的

有时候在生产环境我们会将这个文件进行备份

再redis配置文件中会有这段话

配置文件中默认的配置

在900秒内修改一次的key 就会触发rdb操作

在300秒内修改10次的key 就会触发rdb操作

在60秒内修改10000次的key就会触发rdb操作

触发机制：

1.save的规则满足的情况下，会自动触发rdb规则

2.执行flushall命令，也会触发我们的rdb规则

3.退出redis，也会产生rdb文件

备份就会生成一个dump.rdb文件

 如何恢复rdb文件
只需要将rdb文件放在我们redis启动目录就可以，redis启动的时候会自动检查dump.rdb恢复其中的数据

优点∶
1、适合大规模的数据恢复

2、对数据的完整性要不高

缺点:
1、需要一定的时间间隔进程操作!如果redis意外宕机了，这个最后一次修改数据就没有的了

2、fork进程的时候，会占用一定的内容空间

AOF：

将我们的所有命令都记录下来，history，恢复的时候就把这个文件全部在执行一遍

以日志的形式来记录每个写操作，将Redis执行过的所有指令记录下来(读操作不记录），只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
aof保存的是appendonly.aof 文件

在配置群文件中

可以看到appenonly no 这个表示 默认是不开启的需要手动配置 重启之后即可生效

默认每秒保存一次 

如果这个aof文件有错位，这时候redis是启动不起来的吗，我们需要修复这个aof文件redis给我们提供了一个工具redis-check-aof 

重写： aof默认就是文件的无限追加，文件会越来越大

 如果aof文件大于64MB，fork一个新的进程来将我们的文件进行重写

 优点︰
1、每一次修改都同步，文件的完整会更加好!2、每秒同步一次，可能会丢失一秒的数据3、从不同步，效率最高的
缺点︰
1、相对于数据文件来说，aof远远大于rdb，修复的速度也比 rdb慢
2、Aof 运行效率也要比阳b慢，所以我们redis默认的配置就是rdb持久化

----------------------------------------------------------------------------------------------------------------

1、RDB持久化方式能够在指定的时间间隔内对你的数据进行快照存储
2、AOF持久化方式记录每次对服务器写的操作，当服务器重启的时候会重新执行这些命令来恢复原始的数据，AOF命令以Redis协议追加保存每次写的操作到文件末尾，Redis还能对AOF文件进行后台重写，使得AOF文件的体积不至于过大。
3、只做缓存，如果你只希望你的数据在服务器运行的时候存在，你也可以不使用任何持久化
4、同时开启两种持久化方式
在这种情况下，当redis重启的时候会优先载入AOF文件来恢复原始的数据，因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整。|
RDB的数据不实时，同时使用两者时服务器重启也只会找AOF文件，那要不要只使用AOF呢?作者建议不要，因为RDB更适合用于备份数据库（AOF在不断变化不好备份），快速重启，而且不会有AOF可能潜在的Bug，留着作为一个万一的手段。

5、性能建议

因为RDB文件只用作后备用途，建议只在Slave上持久化RDB文件，而且只要15分钟备份一次就够了，只保留save 9001这条规则。

如果Enable AOF，好处是在最恶劣情况下也只会丢失不超过两秒数据，启动脚本较简单只load自己的AOF文件就可以了，代价一是带来了持续的IO，二是AOF rewrite的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可，应该尽量减少AOF rewrite的频率，AOF重写的基础大小默认值64M太小了，可以设到5G以上，默认超过原大小100%大小重写可以改到适当的数值。
如果不Enable AOF，仅靠Master-Slave Repllcation实现高可用性也可以，能省掉一大笔IO，也减少了rewrite时带来的系统波动。代价是如果Master/Slave同时倒掉，会丢失十几分钟的数据，启动脚本也要比较两个Master/Slave中的 RDB文件，载入比较新的那个

Redis主从复制

主从复制：读写分离，大多时候都是在读操作 减轻服务器压力

主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master/leader)，后者称为从节点(slave/follower);数据的复制是单向的，只能由主节点到从节点。Master以写为主，Slave以读为主。
默认情况下，每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。主从复制的作用主要包括:
1、数据冗余:主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
2、故障恢复∶当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复;实际上是一种服务的冗余。
3、负载均衡∶在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载﹔尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。
4、高可用基石∶除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。

1.配置多个的话要改端口 

2.pid名字

3.log文件名字

4.dump.rdb名字

一主二从

第一种配置：从机全部连接到主机

一般只配置从机

使用 slaveof 127.0.0.1（ip地址）6379（端口）

在主机中查看 使用info replication命令

主机可以写，从机不能写只能读，主机中的所有信息和数据，都会自动被从机保存

测试：

主机断开连接，从机依旧连接到主机的，但是没有写操作，这个时候如果主机回来了，从机依旧可以直接获取到主机写的

如果是用命令行来配置的主从复制，如果从机重启了就会变成主机，只要变为从机，就会从主机中获取值

主从复制原理

Slave启动成功连接到master后会发送一个sync命令
Master接到命令，启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，master将传送整个数据文件到slave，并完成一次完全同步。
全量复制:而slave服务在接收到数据库文件数据后，将其存盘并加载到内存中。增量复制:Master继续将新的所有收集到的修改命令依次传给slave，完成同步但是只要是重新连接master，一次完全同步（全量复制)将被自动执行

官方的复制解说：

每个 Redis 主机都有一个复制 ID：它是一个大型伪随机字符串，用于标记数据集的给定故事。每个主服务器还采用一个偏移量，该偏移量会为生成的复制流的每个字节递增以发送到副本，以使用修改数据集的新更改来更新副本的状态。即使实际上没有连接副本，复制偏移也会递增，因此基本上每个给定的对：

Replication ID, offset

标识主数据集的确切版本。

当副本连接到主服务器时，它们使用 PSYNC 命令发送其旧的主复制 ID 和到目前为止处理的偏移量。这样，主站可以只发送所需的增量部分。但是，如果主缓冲区中没有足够的积压工作，或者副本引用的历史记录（复制 ID）不再已知，则会发生完全重新同步：在这种情况下，副本将从头开始获取数据集的完整副本。

以下是完全同步的工作原理，更详细地介绍：

主节点启动后台保存过程以生成 RDB 文件。同时，它开始缓冲从客户端接收的所有新写入命令。后台保存完成后，主服务器将数据库文件传输到副本，副本将其保存在磁盘上，然后将其加载到内存中。然后，主节点会将所有缓冲的命令发送到副本。这是作为命令流完成的，并且采用与 Redis 协议本身相同的格式。

您可以通过远程登录自己尝试。在服务器执行某些工作时连接到 Redis 端口，然后发出 SYNC 命令。您将看到一个批量传输，然后主节点收到的每个命令都将在 telnet 会话中重新发出。实际上，SYNC是较新的Redis实例不再使用的旧协议，但仍然存在于向后兼容性：它不允许部分重新同步，因此现在使用PSYNC代替。

如前所述，当主副本链路由于某种原因而断开时，副本能够自动重新连接。如果主服务器收到多个并发副本同步请求，它将执行单个后台保存以处理所有这些请求

第二种配置：链式结构

 这个时候如果主机断了从机可以使用slaveof no one让自己变成主机，其他的节点就可以手动连接到最新的这个节点（手动）如果这个时候原本的主机回来了那就重新连接

哨兵模式（自动选举主机）

主从切换技术的方法是∶当主服务器宕机后，需要手动把一台从服务器切换为主服务器，这就需要人工干预，费事费力，还会造成一段时间内服务不可用。这不是一种推荐的方式更多时候，我们优先考虑哨兵模式。Redis从2.8开始正式提供了Sentinel (哨兵）架构来解决这个问题。
谋朝篡位的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库。
哨兵模式是一种特殊的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程，作为进程，它会独立运行。其原理是哨兵通过发送命令，等待Redis服务器响应，从而监控运行的多个Redis实例。

这里的哨兵有两个作用
·通过发送命令，让Redis服务器返回监控其运行状态，包括主服务器和从服务器。
·当哨兵监测到master宕机，会自动将slave切换成master，然后通过发布订阅模式通知其他的从服务器，修改配置文件，让它们切换主机。
然而一个哨兵进程对Redis服务器进行监控，可能会出现问题，为此，我们可以使用多个哨兵进行监控。各个哨兵之间还会进行监控，这样就形成了多哨兵模式。

假设主服务器宕机，哨兵1先检测到这个结果，系统并不会马上进行failover过程，仅仅是哨兵1主观的认为主服务器不可用，这个现象成为主观下线。当后面的哨兵也检测到主服务器不可用，并且数量达到一定值时，那么哨兵之间就会进行一次投票，投票的结果由一个哨兵发起，进行failover[故障转移]操作。切换成功后，就会通过发布订阅模式，让各个哨兵把自己监控的从服务器实现切换主机，这个过程称为客观下线。

测试：

1、配置哨兵配置文件sentinel.conf

sentinel monitor testredis(名字随便) 127.0.0.1（ip） 6379（端口号） 1（当主机挂了之后投票给谁）

slave投票看让谁接替主机，票数最多的，就会成为主机

启动哨兵

redis-sentinel etc/sentinel.conf    linux操作系统

如果Master节点断开了，这个时候就会从从机中随机选择一个服务器!（这里面有一个投票算法)

如果这时候主机回来了，只能归并到新的主机下当作从节点，这就是哨兵的规则

优点∶
1、基于主从复制，所以它拥有主从配置的优点

2、主从可以切换，故障可以转移，系统的可用性就会更好
3、哨兵模式就是主从模式的升级，手动到自动，更加健壮!缺点︰
1、Redis 不好啊在线扩容的，集群容量一旦到达上限，在线扩容就十分麻烦

2、实现哨兵模式的配置其实是很麻烦的，里面有很多选择!

缓存穿透：

用户想要查询一个数据，发现redis内存数据库没有，也就是缓存没有命中，于是向持久层数据库查询。发现也没有，于是本次查询失败。当用户很多的时候，缓存都没有命中(秒杀!)，于是都去请求了持久层数据库。这会给持久层数据库造成很大的压力，这时候就相当于出现了缓存穿透。|

1、布隆过滤器
布隆过滤器是一种数据结构，对所有可能查询的参数以hash形式存储，在控制层先进行校验，不符合则丢弃，从而避免了对底层存储系统的查询压力;

2、缓存空对象

当存储层不命中后，即使返回的空对象也将其缓存起来，同时会设置一个过期时间，之后再访问这个数据将会从缓存中获取，保护了后端数据源;

缓存击穿

缓存击穿，是指一个key非常热点，在不停的扛着大并发，大并发集中对这一个点进行访问，当这个key在失效的瞬间，持续的大并发就穿破缓存，直接请求数据库，就像在一个屏障上凿开了一个洞。
当某个key在过期的瞬间，有大量的请求并发访问，这类数据一般是热点数据，由于缓存过期，会同时访问数据库来查询最新数据，并且回写缓存，会导使数据库瞬间压力过大。

解决方案：

设置热点数据永不过期
从缓存层面来看，没有设置过期时间，所以不会出现热点 key过期后产生的问题。

加互斥锁
分布式锁∶使用分布式锁，保证对于每个key同时只有一个线程去查询后端服务，其他线程没有获得分布式锁的权限，因此只需要等待即可。这种方式将高并发的压力转移到了分布式锁，因此对分布式锁的考验很大。

缓存雪崩

缓存雪崩，是指在某一个时间段，缓存集中过期失效。Redis宕机!
产生雪崩的原因之一，比如在写本文的时候，马上就要到双十二零点，很快就会迎来一波抢购，这波商品时间比较集中的放入了缓存，假设缓存一个小时。那么到了凌晨一点钟的时候，这批商品的缓存就都过期了。而对这批商品的访问查询，都落到了数据库上，对于数据库而言，就会产生周期性的压力波峰。于是所有的请求都会达到存储层，存储层的调用量会暴增，造成存储层也会挂掉的情况。

比较致命的缓存雪崩，是缓存服务器某个节点宕机或断网。因为自然形成的缓存雪崩，一定是在某个时间段集中创建缓存，这个时候，数据库也是可以顶住压力的。无非就是对数据库产生周期性的压力而已。而缓存服务节点的宕机，对数据库服务器造成的压力是不可预知的，很有可能瞬间就把数据库压垮。

redis高可用
这个思想的含义是，既然redis有可能挂掉，那我多增设几台redis，这样一台挂掉之后其他的还可以继续工作，其实就是搭建的集群。（异地多活!)
限流降级
这个解决方案的思想是，在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存，其他线程等待。
数据预热
数据加热的含义就是在正式部署之前，我先把可能的数据先预先访问一遍，这样部分可能大量访问的数据就会加载到缓存中。在即将发生大并发访问前手动触发加载缓存不同的key，设置不同的过期时间，让缓存失效的时间点尽量均匀。

推荐视频讲解遇见狂神说：【狂神说Java】Redis最新超详细版教程通俗易懂_哔哩哔哩_bilibili