这篇Redis多机基础,我吹不动了

先赞后看,Java进阶一大半

我是南哥,相信对你通关面试、拿下Offer有所帮助。

敲黑板:本文总结了Redis主从、集群、哨兵常见的面试题!

⭐⭐⭐收录在《Java学习/进阶/面试指南》:https://github/JavaSouth

1. Redis数据同步

1.1 数据同步过程

面试官:我看你们项目用的Redis主从,数据同步了解吗?

回答数据同步过程问题前,大家有没想过为什么Redis要数据同步?不会是MySQL主从架构要数据同步,Redis就照猫画虎吧。

虽然这两者有关系型数据库和非关系型数据库的差异,但都是作为存储数据的数据库系统。而主从架构的目的就在于对数据有多个"备份",有了多个"备份",就自然而然衍生出众多好处。如负载均衡、灾难恢复、数据备份。

既然要"备份",那数据同步就必不可少了。Redis主从数据同步大致的过程如下。

  1. 首先,从服务器会先向主服务器发送SYNC命令
  2. 收到命令后,Redis主服务器会执行BGSAVE命令来生成一个RDB文件,并使用AOF缓冲区来记录在生成期间执行的写命令。关于BGSAVE命令和SAVE命令的区别,大家可以往前阅读我写的Redis系列文章。
  3. 完成第二步后,主服务器会将RDB文件发送给从服务器,让从服务器同步RDB文件数据。
  4. 当然这还没完,在生成RDB文件的过程中,仍然会有其他写命令到达服务器。Redis主服务器的AOF缓冲区会继续发送给从服务器,让它们之间的数据同步至最终状态

在这里插入图片描述

1.2 命令传播

面试官:按你这么说,数据同步后主服务器某个键删除了,数据又不同步了怎么办?

有了AOF缓冲区的概念还没完,Redis主从复制还有一个命令传播的概念等着你去学。

从服务器使用SYNC进行初次数据同步后,主、从服务器的数据库状态并不是每时每刻都保持一致的,这种情况反而是常态。肯定不能为了一条写指令的差异就重新执行SYNC命令,因为SYNC命令是一个非常耗费资源的操作。

这种情况Redis主服务器会将造成主从服务器数据不一致的写命令,即最近执行的写命令,发送给从服务器执行。这便是命令传播的过程,当从服务器执行命令后,主从服务器的数据库状态也就保持了一致。

如果后续有新的命令写入主服务器,主服务器会继续重复命令传播的过程。

1.3 部分重同步

面试官:如果主从服务器断线呢?还是用的RDB来同步?

主从服务器断线的话,假设你是Redis开发者,要怎么高效地恢复主、从服务器数据同步的状态。

如果还是用的RDB文件来同步,也太浪费资源了。有可能只是短时间断线,执行的写命令不过几十个,上文我已经提到SYNC命令是很耗费资源的一种操作。

能不能有一支记号笔,在主、从服务器断线时在主服务器的命令队列画下一个记号?

其实Redis除了提供SYNC命令的支持,还有一个叫PSYNC命令

主从服务器断线后,Redis从服务器会发送一个PSYNC命令给主服务器。收到命令后主服务器会将两者断线期间执行的写命令一条不剩地发送给从服务器。

从服务器执行命令后,主、从服务器的数据也就同步了。这种同步方式也叫部分重同步

1.4 复制偏移量

面试官:那主服务器怎么知道断线期间执行了哪些命令?

提前剧透下,前面提到的记号笔就是复制偏移量,命令队列也就是复制积压缓冲区队列

Redis主、从服务器都会去维护一个复制偏移量,复制偏移量是什么?例如主从服务器的初始偏移量都是0,主服务器发送给从服务器N字节数据后,主从服务器的偏移量就会 + N。复制偏移量通过该数值来代表主服务器发送给从服务器的字节总量

通过复制偏移量就可以来记录同步状态。

Redis其实有是一个容器来存储命令传播的写命令,命令传播的命令保存在一个有复制偏移量标识的复制积压缓冲区队列。

从服务器发送PSYNC命令给主服务器,还会同时发送从服务器的复制偏移量。主服务器只要根据该复制偏移量在复制积压缓冲区队列中找到对应的命令,就可以发送相关命令给到从服务器。

1.5 服务器运行ID

面试官:知道服务器运行ID吗?

每个Redis节点都有自己的服务器运行ID,这个ID由服务器启动时自动生成。

当从服务器对主服务器进行初次复制时,主服务器会将自己的运行ID传送给从服务器,而从服务器则会将这个运行ID保存起来。

当断线后数据同步时,从服务器会向当前连接的主服务器发送之前保存的主服务器运行ID

如果此时主服务器发现从服务器发送的运行ID与自己的不一致。那就说明此时的主服务器是新的主服务器,它也没有复制积压缓冲区队列,也就不能进行部分重同步。此时Redis主服务器会向从服务器发送RDB文件来进行数据同步。

1.6 Redis心跳检测

面试官:Redis心跳检测知道吧?

从服务器默认会每秒一次向主服务器发送心跳检测命令,如果主服务器超过1s没有收到replconf命令,说明主从服务器的网络连接有问题了。

以下是心跳检测命令。

REPLCONF ACK <replication_offset>

同时这个心跳检测命令还会附带传送一个复制偏移量,也就是上文的replication_offset

在心跳检测时的过程中,如果主服务器发现他们的复制偏移量不一致,就会通过该偏移量找到从服务器丢失的写命令,从而发送给从服务器保持同步。

到这我们就知道了,心跳检测不仅仅能让主服务器检测从服务器是否存活。Redis开发者很聪明,在从服务器发送心跳检测命令时添加复制偏移量,让心跳检测也具有检测命令丢失的功能。

2. Redis集群

2.1 集群概念

面试官:我看你简历写了Redis集群,你说一说?

Redis主从架构和Redis集群架构是两种不同的概念,大家刚接触Redis时经常弄混淆。南哥给大家贴下Redis官网对两者的解释。

(1)Redis主从架构

Redis主从实现了有一个易于使用和配置的领导者跟随者复制,它允许副本 Redis 实例成为主实例的精确副本。

(2)Redis集群架构

Redis 集群将数据自动分片到多个 Redis 节点,Redis 集群还在分区期间提供一定程度的可用性,当某些节点发生故障或无法通信时,Redis集群能够继续运行。

它们两者都是Redis高可用的解决方案,但偏向点不同。Redis主从对数据的完整性更看重,Redis主从节点都保存了完整的一套数据库状态。

而Redis集群则对抗压能力更看重,整个集群的数据库整合起来才是一个完整的数据库。

在功能性上它们也有不同,Redis主从有哨兵,而Redis集群有分片。我们要看业务选择不同的Redis方案,当然,Redis集群还可以搭配Redis主从一起使用,我们可以在某一个集群节点上配置一套主从模型。

如果要6002、6003节点添加到6001节点的Redis集群里,我们可以使用以下命令。

127.0.0.1:6001> CLUSTER MEET 127.0.0.1 6002
OK
127.0.0.1:6001> CLUSTER MEET 127.0.0.1 6003
OK

2.2 集群分片

面试官:那Redis集群怎么实现负载均衡的?

大家要记住Redis集群一个很重要的知识点,那就是分片。

Redis集群通过分片的方式来保存数据库中的键值对,Redis集群把整个数据库分为16384个槽,而集群中的每个节点可以处理这里面的0个或最多16384个槽。

假如南友们在公司里配置了一个包含 3 个节点的集群,那么这3个节点的槽分配会是这样的:

  • 节点 A 包含从 0 到 5500 的哈希槽。
  • 节点 B 包含从 5501 到 11000 的哈希槽。
  • 节点 C 包含从 11001 到 16383 的哈希槽。

那这样分片有什么作用?

大家想一想,有了分片,我们对某一个键值对的增删改查就会在三个集群节点中的其中一个进行,这样对Redis的各种操作也就负载均衡地下落到各个集群的节点中。

2.3 重新分片

面试官:要是热点数据都是某个Redis节点的槽,负载均衡不是没用了?

Redis集群甚至可以在线上环境直接执行重新分片功能,分片是不是很灵活呢?南哥给Redis点赞。

Redis官网对分片是这么解释的。

Moving hash slots from a node to another does not require stopping any operations; therefore, adding and removing nodes, or changing the percentage of hash slots held by a node, requires no downtime.

将哈希槽从一个节点移动到另一个节点不需要停止任何操作;因此,添加和删除节点,或更改节点持有的哈希槽百分比,不需要停机。

Redis集群重新分片可以将任意数量已指派给某个节点的槽改为指派给另一个节点,而相关槽所属的键值对也会从源节点被移动到目标节点。重新分片操作也不需要集群节点下线,源节点和目标节点也都可以继续处理命令请求。

要是小伙伴遇到热点数据都精确命中了Redis集群的某一个节点,赶快在线上环境紧急重新分片,把相关热点槽指派给其他节点处理,这也是一个不错的选择。

2.4 主从模型

面试官:Redis集群的主从模型,知道吗?

还记得上文南哥提到过可以给Redis集群的某一个节点配置主从模型吗?

Redis集群把键值都分散在多个集群节点中,这也有缺点。例如某一个节点失效了,那这个节点里所有槽的键值对也都无法访问了。Redis官方当然也知道,主从模型可以让集群节点有1~N个副本节点。

像上文的Redis集群的A、B、C三个节点,主从模型可以为这每一个主节点添加一个副本节点。这样的话集群就变成了由A、B、C、A1、B1、C1组成,例如当A节点失效了,那它的副本节点A1就会提升为新的主节点。

主从模型也有另外的好处,我们可以让主节点用于处理槽,而副本节点用来分担读的压力

在这里插入图片描述

为集群B节点添加B1、B2副本节点

2.5 主节点选举

面试官:那集群里怎么选举主节点的?

Redis集群的主从模型选举主节点和Redis哨兵选举出主节点非常相似,但大家不要搞混了,Redis集群中并没有哨兵的概念。

主从模型选举主节点和哨兵选举领头哨兵一样是先到先得,而且它们投票的对象是集群中的其他主节点

选举的流程如下。

(1)当从节点发现主节点进入下线状态时,会广播一条CLUSTERMSG_TYPE_FAILOVER_AUTH_REQUEST消息,要求其他集群主节点向改从节点进行投票。

(2)投票遵循先到先得的规则,集群主节点会投票给第一个发送选举信息的该从节点,返回一条CLUSTERMSG_TYPE_FAILOVER_AUTH_ACK消息。

(3)如果集群主节点的个数是N,当某个从节点收到大于等于N / 2 + 1张支持票时,代表该从节点获胜,该从节点也将成为新的主节点。

3. Redis哨兵

3.1 哨兵作用

面试官:Redis哨兵知道吧?

哨兵的含义是什么?我们来看看百度百科的解释。

哨兵,汉语词语,是指站岗、放哨、巡逻、稽查的士兵

Redis主从架构也有自己的哨兵,名为Sentinel。Sentinel是什么含义,我们看看英文含义,很遗憾这个英文起名没有什么故事可讲,英文意思还是哨兵。

Redis哨兵本质是一个运行在特殊模式下的Redis服务器,并不是特殊要另外部署的服务模块。哨兵可以是一个,如果公司资金充足的话,部署由多个Sentinel实例组成的哨兵系统也是可以的。

那哨兵有什么作用?

它的主要作用是通过检测Redis主从服务器的下线状态,选举出新Redis主服务器,也就是故障转移,来保证Redis的高可用性。

3.2 检测主从下线状态

面试官:你说说是怎么检测Redis主从服务器的下线状态的?

我们先来讲讲哨兵最重要的第一个功能,检测Redis主从服务器下线状态,后面我们再来讲讲故障转移。

哨兵检测主从服务器下线状态有两种方式,分为主观和客观,我们可以给哨兵配置其中一种。

(1)检测主观下线状态:默认情况Sentinel会每隔 1 s向Redis主、从服务器发送PING命令,通过PING命令返回的信息来判断Redis主从服务器的下线状态。

(2)检测客观下线状态:Sentinl在主观判断下线后,会向其他Sentinel进行询问是否同意该节点已下线,当标记下线的数量足够多就会判断客观下线。

下面是哨兵们和Redis主从服务器之间藕断丝连的关系。

在这里插入图片描述

3.3 检测下线状态不一致

面试官:有没有A哨兵判断Redis实例下线,但B哨兵判断Redis实例仍然存活的情况?

各个哨兵的配置对检测下线的配置不同,可能会产品奇奇怪怪的问题,大家要注意下。

假如我们的A、B两个哨兵配置的是检测主观下线状态,哨兵会判断Redis实例进入主观下线所需的响应时间长度

南哥假设A哨兵的配置是10000毫秒、B哨兵是50000毫秒,但此时Redis实例要在20000毫秒才响应,像这种情况就会发生A哨兵判断Redis实例下线,但B哨兵判断Redis实例仍然存活的情况。

3.4 选举领头哨兵

面试官:领头哨兵怎么选举出来的?

大家注意不要把领头哨兵和Redis主服务器弄混淆了,不然可就尴尬了哈。

南哥先说说领头哨兵的作用,免得大家误解。领头Sentinel起到执行故障转移的作用,也就是选举出新的Redis主服务器,而且只有当Redis主服务器被判断客观下线后才会选举出领头Sentinel。

那领头哨兵要怎么选择出来呢?选举出这个天选之子。

Sentinel哨兵设置局部领头Sentinel的规则是先到先得

最先向目标Sentinel发送设置要求的源Sentinel将成为目标Sentinel的局部领头Sentinel,而之后接收到的所有设置要求都会被目标Sentinel拒绝。

如果有某个Sentinel被半数以上的Sentinel设置成了局部领头Sentinel,那么这个Sentinel就会成为领头Sentinel。

3.5 选举Redis主服务器

面试官:知道怎么选举新的Redis主服务器吗?

看到这,我来和大家讲讲哨兵最重要的第二个功能:选举出新的Redis主服务器。

(1)领头Sentinel会将已下线Redis主服务器的所有Redis从服务器保存到一个列表里面。

(2)通过删除策略,删除所有处于下线或者断线状态的、删除最近五秒内没有回复过领头Sentinel命令的、删除与已下线主服务器连接断开超过10毫秒的。

(3)如果有多个相同优先级的从服务器,将按照复制偏移量进行排序选出偏移量最大的,复制偏移量最大也就是数据同步最新的。

(4)最后选出的Redis实例也就成为新的Redis主服务器。

⭐⭐⭐本文收录在《Java学习/进阶/面试指南》:https://github/JavaSouth

我是南哥,南就南在Get到你的点赞点赞点赞。

在这里插入图片描述

创作不易,不妨点赞、收藏、关注支持一下,各位的支持就是我创作的最大动力❤️

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值