Redis主从复制原理

最新推荐文章于 2024-03-20 18:19:03 发布
最新推荐文章于 2024-03-20 18:19:03 发布
阅读量370 收藏
点赞数
文章标签： redis 缓存 数据库
原文链接：https://www.kuangstudy.com/bbs/1480397745524547585
版权

1.概念

主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。

  • 前者称为主节点（master/leader），后者称为从节点（slave/follower）。
  • 数据的复制是单向的，只能由主节点到从节点。
  • Master以写为主，Slave以读为主。
  • 默认情况下，每台Redis服务器都是主节点；且一个主节点可以有多个从节点（或没有从节点），但一个从节点只能有一个主节点。

2.主从复制作用

  1. 数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
  2. 故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余。
  3. 负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。
  4. 高可用基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础。

数据冗余：在网络托管中，数据冗余是一种策略，确保您永远不会失去任何数据。
备份：是现有数据的重复拷贝。
冗余，不仅仅是复制数据；它是一个积极主动的行动计划，设计这个计划是为了您永远不会丢失数据。备份是整个冗余计划的一部分。

3.Redis运用于工程项目中

一般来说，要将Redis运用于工程项目中，只使用一台Redis是万万不能的，原因如下：

  1. 从结构上，单个Redis服务器会发生单点故障，并且一台服务器需要处理所有的请求负载，压力较大.
  2. 从容量上，单个Redis服务器内存容量有限，就算一台Redis服务器内存容量为256G，也不能将所有内存用作Redis存储内存，一般来说，单台Redis最大使用内存不应该超过20G。

电商网站上的商品，一般都是一次上传，无数次浏览的，说专业点也就是“多读少写”。
对于这种场景，我们可以使如下这种架构：
在这里插入图片描述

4.环境配置步骤

  1. 只配置从库，不用配置主库。
127.0.0.1:6379> info replication # 查看当前库的信息
# Replication
role:master # 角色 master
connected_slaves:0 # 连接的从机数量
master_replid:277688e672427068ab18c2bb9d239c776a402874
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
  1. 复制3个配置文件，然后修改对应的信息。
    - 端口
    - pid名字
    - log文件名字。6379.log
    - dump.rdb名字
  2. 启动redis。
# 启动命令
redis-server redis6379.conf
redis-server redis6380.conf
redis-server redis6381.conf
# 进程查看
ps -ef|grep redis

在这里插入图片描述

5.一主二从

默认情况下，每台Redis服务器都是主节点；我们一般情况下只用配置从机就好了！
认老大！一主（6379）二从（6380，6381）。从机认主机当老大

  1. 配置从机
127.0.0.1:6380> slaveof 127.0.0.1 6379 # slaveof 主机地址 端口号，找谁当老大
OK
127.0.0.1:6380> info replication
# Replication
role:slave # 当前角色是从机
master_host:127.0.0.1 # 可以看到主机的信息
master_port:6379
master_link_status:up
master_last_io_seconds_ago:3
master_sync_in_progress:0
slave_repl_offset:14
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:e700a386c850303c045de2c5223947da75490c74
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:14
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:14
  1. 在主机中查看
# 配置从机之前的信息
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:0
master_replid:2f5f0dbe824198d52ee1da8228368c158fc86cab
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
# 配置从机之后的信息
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1 # 多了从机的配置信息
slave0:ip=127.0.0.1,port=6380,state=online,offset=56,lag=1
master_replid:e700a386c850303c045de2c5223947da75490c74
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:56
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:56
  1. 两个从机都配置完成
    如果两个都配置完了，就是有两个从机的信息
    在这里插入图片描述
    真实环境的从主配置应该在配置文件中配置，这样的话是永久的，我们这里使用的是命令，只是暂时的！配置文件配置在上面第八个标题。

6.细节

主机可以写，从机不能写只能读！主机中的所有信息和数据，都会自动被从机保存！

在这里插入图片描述
在这里插入图片描述
测试：

  • 主机断开连接，从机依旧会连接到主机，但是没有写操作，这个时候，如果主机回来了，继续写数据，从机依旧可以直接获取到主机写的信息。（无论命令行还是配置文件配置的主从都是这样）
  • 如果是使用命令行来配置的主从，这个时候从机如果重启了，就会变回主机！但是使用命令行让他再次连接主机，就会立即从主机获取值。（只要变为从机，立马就会从主机中获取值）
    （如果是配置文件配置的主从，从机重启后立即会从主机获取值）

复制原理

Slave启动成功连接到master后会发送一个sync同步命令，Master接到命令，启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，master将传送整个数据文件到slave，并完成一次完全同步。
全量复制：而slave服务在接收到数据库文件数据后，将其存盘并加载到内存中。
增量复制：Master继续将新的所有收集到的修改命令依次传给slave，完成同步但是只要是重新连接master，一次完全同步（全量复制）将被自动执行！我们的数据一定可以在从机中看到！

7.宕机后手动配置主机

层层链路
上一个Master链接下一个Slave！此时的80依旧是从节点，不能进行写操作。

在这里插入图片描述
这个模型也能完成我们的主从复制。

如果没有老大了，这个时候能不能选择一个老大出来呢？手动设置！

谋朝篡位
如果主机断开了连接，我们可以使用SLAVEOF no one命令让自己变成主机！其他的节点就可以手动连接到最新的这个主节点（手动）！如果这个时候老大修复了，老大就变成光杆司令了，需要重新连接！

8.哨兵模式（重点）

（自动选举老大的模式）
主从切换技术的方法是：当主服务器宕机后，需要手动把一台从服务器切换为主服务器，这就需要人工干预，费事费力，还会造成一段时间内服务不可用。这不是一种推荐的方式，更多时候，我们优先考虑哨兵模式。
Redis从2.8开始正式提供了Sentinel（哨兵）架构来解决这个问题。
谋朝篡位的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库。
哨兵模式是一种特殊的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程，作为进程，它会独立运行。其原理是哨兵通过发送命令，等待Redis服务器响应，从而监控运行的多个Redis实例。
在这里插入图片描述

这里的哨兵有两个作用

  • 通过发送命令，让Redis服务器返回监控其运行状态，包括主服务器和从服务器。
  • 当哨兵监测到master宕机，会自动将slave切换成master，然后通过发布订阅模式通知其他的从服务器，修改配置文件，让它们切换主机。

然而一个哨兵进程对Redis服务器进行监控，可能会出现问题，为此，我们可以使用多个哨兵进行监控。各个哨兵之间还会进行监控，这样就形成了多哨兵模式。
在这里插入图片描述
假设主服务器宕机，峭兵1先检测到这个结果，系统并不会马上进行failover过程，仅仅是哨兵1主观的认为主服务器不可用，这个现象成为主观下线。当后面的哨兵也检测到主服务器不可用，并且数量达到一定值时，那么哨兵之间就会进行一次投票，投票的结果由一个哨兵发起，进行failover[故障转移]操作。切换成功后，就会通过发布订阅模式，让各个哨兵把自己监控的从服务器实现切换主机，这个过程称为客观下线。

测试

我们目前的状态是一主二从！

  • 1、配置哨兵配置文件 sentinel.conf
#sentinel monitor 被监控的名称 host port 1
sentinel monitor myredis 127.0.0.1 6379 1

后面的这个数字1，代表主机挂了，slave投票看让谁接替成为主机，票数最多的，就会成为主机！

[root@iZbp13qr3mm4ucsjumrlgqZ bin]# redis-sentinel sentinel.conf
30668:X 25 Dec 2021 20:45:35.397 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
30668:X 25 Dec 2021 20:45:35.397 # Redis version=5.0.8, bits=64, commit=00000000, modified=0, pid=30668, just started
30668:X 25 Dec 2021 20:45:35.397 # Configuration loaded
                _._
           _.-``__ ''-._
      _.-``    `.  `_.  ''-._           Redis 5.0.8 (00000000/0) 64 bit
  .-`` .-```.  ```\/    _.,_ ''-._
 (    '      ,       .-`  | `,    )     Running in sentinel mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 26379
 |    `-._   `._    /     _.-'    |     PID: 30668
  `-._    `-._  `-./  _.-'    _.-'
 |`-._`-._    `-.__.-'    _.-'_.-'|
 |    `-._`-._        _.-'_.-'    |           http://redis.io
  `-._    `-._`-.__.-'_.-'    _.-'
 |`-._`-._    `-.__.-'    _.-'_.-'|
 |    `-._`-._        _.-'_.-'    |
  `-._    `-._`-.__.-'_.-'    _.-'
      `-._    `-.__.-'    _.-'
          `-._        _.-'
              `-.__.-'
30668:X 25 Dec 2021 20:45:35.398 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.
30668:X 25 Dec 2021 20:45:35.398 # Sentinel ID is a9e1a9362fc71d274e27a7c1d5a49018016fdf58
30668:X 25 Dec 2021 20:45:35.398 # +monitor master myredis 127.0.0.1 6379 quorum 1
30668:X 25 Dec 2021 20:45:35.400 * +slave slave 127.0.0.1:6380 127.0.0.1 6380 @ myredis 127.0.0.1 6379
30668:X 25 Dec 2021 20:45:35.401 * +slave slave 127.0.0.1:6381 127.0.0.1 6381 @ myredis 127.0.0.1 6379

如果Master 节点断开了，这个时候就会从从机中随机选择一个服务器！（这里面有一个投票算法！）
在这里插入图片描述
哨兵日志：
在这里插入图片描述
如果主机此时回来了，只能归并到新的主机下，当做从机，这就是哨兵模式的规则！
在这里插入图片描述
在这里插入图片描述
哨兵模式
优点：

  • 哨兵集群，基于主从复制模式，所有的主从配置优点，它全有。

  • 主从可以切换，故障可以转移，系统的可用性就会更好。

  • 哨兵模式就是主从模式的升级，手动到自动，更加健壮。

缺点：

  • Redis不好在线扩容的，集群容量一旦到达上限，在线扩容就十分麻烦。
  • 实现哨兵模式的配置其实是很麻烦的，里面有很多选择。
DarzenWong
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis 主从复制的原理及演化
散尽浮华
01-13 6037
一、什么是主从复制 在数据库语境下，复制( replication)就是将数据从一个数据库复制到另一个数据库中。主从复制，是将数据库分为主节点和从节点，主节点源源不断地将数据复制给从节点，保证主从节点中存有相同的数据。有了主从复制,数据可以有多份副本，这带来了多种好处： 第—，提升数据库系统的请求处理能力。单个节点能够支撑的读流量有限，部多个节点，并构成主从关系，用主从复制保持主从节点数据一致，如此主从节点一起提供服务。 第二,提升整个系统的可用性。因为从节点中有主节点数据的副本,当主节点宕机后，可以
redis主从复制原理的深入讲解
12-16
本文主要针对redis主从复制的原理进行了讲解，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧 1.复制过程 2.数据间的同步 3.全量复制 4.部分复制 5.心跳 6.异步复制 1.复制过程 从节点执行 ...
详解Redis主从复制原理
weixin_48967543的博客
06-30 2012
文章首发于公众号 “蘑菇睡不着” 前言购物优惠券 https://m.cqfenfa.com/ Redis 的主从复制和 MySQL 差不多，主要起着 数据备份，读写分离等作用。所以说主从复制对 Redis 来说非常重要，而无论是面试还是工作总，了解 Redis主从复制 底层实现有非常有必要，那么接下来就和大家来看看 Redis 主从复制是怎么实现的吧。 什么是 Redis 主从复制？ 在 Redis 中，我们可以通过 SLAVEOF 命令或者 slaveof 选项，让一个服务器去复制另一个服务器...
​ ​Redis（五）主从复制：主从模式介绍、配置、拓扑（一主一从结构、一主多从结构、树形主从结构）、原理（复制过程、​​​​​​​数据同步psync）、总结
最新发布
m0_74343467的博客
03-20 1462
​ ​Redis（五）主从复制：主从模式介绍、配置【建立复制、断开复制、安全性、只读、传输延迟】、拓扑（一主一从结构、一主多从结构、树形主从结构）、原理（复制过程、​​​​​​​数据同步psync【replicationid/replid (复制id)、offset (偏移量)、全量复制、replication id 和 run id 的辨别、部分复制、复制积压缓冲区​​​​​​​、实时复制、划分工作目录】）、总结
redis 主从复制原理
azh89125的博客
05-13 1387
主从库模式一旦采用了读写分离，所有数据的写操作只会在主库上进行，不用协调实例。主库有了最新的数据后，会同步给从库，这样，主从库的数据就是一致的。 同步分为三种情况： 1.第一次主从库全量复制； 2.主从正常运行期间的同步； 3.主从库间网络断开重连同步。 主从库第一次全量复制 主从库第一次复制过程大体可以分为 3 个阶段：连接建立阶段（即准备阶段）、主库同步数据到从库阶段、发送同步期间新写命令到从库阶段 建立连接 该阶段的主要作用是在主从节点之间建立连接，为数据全量同步做好准备。从库会和主库建立连接，从
Redis 主从架构 笔记与疑问
weixin_44416759的博客
07-13 110
对于缓存来说，一般都是用来支撑读高并发的。因此架构做成主从(master-slave)架构，一主多从，主负责写，并且将数据复制到其它的 slave 节点，从节点负责读。所有的读请求全部走从节点。这样也可以很轻松实现水平扩容，支撑读高并发。 redis replication -> 主从架构 -> 读写分离 -> 水平扩容支撑读高并发 redis replication 的核心机制 redis 采用异步方式复制数据到 slave 节点，不过 redis2.8 开始，slave node
Redis07：redis的主从复制（原理与哨兵模式）、集群（搭建与它的优缺点）
weixin_51418572的博客
05-08 1065
Redis的主从复制 什么的主从复制 主机数据更新后根据配置和策略， 自动同步到备机的master/slaver机制，Master以写为主，slave以读为主 能干什么？ 读写分离，性能扩展 容灾快速恢复（比如某个从机挂掉之后，能马上换一个从机） 怎么使用主从复制 1、创建一个myredis文件夹并进入 为了方便我就直接在根目录下创建该文件夹 [root@LJY /]# mkdir myredis [root@LJY /]# cd myredis 2、复制redis.conf配置 [roo
Redis主从复制以及主从复制技术原理.docx
10-14
主从复制原理 主从复制的原理是通过在主节点上执行写操作，然后将写操作同步到从节点上，实现数据的一致性。从节点可以根据需要，选择同步的频率和方式。 Redis 主从复制技术可以解决单一节点的问题，实现数据的...
redis主存复制数据同步过程日志
12-02
通过redis主存复制（一主两从） 数据同步过程日志，分析Redis主从复制的工作原理，Redis允许同时开启AOF和RDB，既保证了数据安全又使得进行备份等操作十分容易。此时重新启动Redis后Redis会使用AOF文件来恢复数据，...
Redis教程(九)：主从复制配置实例
09-10
主要介绍了Redis教程(九)：主从复制配置实例,本文讲解了Redis的Replication、Replication的工作原理、如何配置Replication、应用示例等内容,需要的朋友可以参考下
Redis主从复制原理总结
zhaoquanwei2018的博客
09-10 213
和Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，Redis的主从结构可以采用一主多从或者级联结构，Redis主从复制可以根据是否是全量分为全量同步和增量同步。下图为级联结构。 全量同步 Redis全量复制一般发生在Slave初始化阶段，这时Slave需要将Master上的所有数据都复制一份。具体步骤如下： - 从服务器连接主服务器，发送SYNC命令； - 主服务器接收到SYNC命名后，开始执行BGS...
Redis主从复制的复制原理
越努力越幸运的博客
11-27 200
Redis主从复制的复制原理 主从复制数据同步的底层是： Slave 成功连接Master后，会发送一个sync命令。 Master借到命令后，启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，Master将传送整个数据文件到Slave，已完成一次完全同步。 全量复制：Slave 在接收到数据库文件数据后，将其存盘并加载到内存中。 增量复制：Master 继续将新的所有收集到的修改命令依次传给 Slave 完成同步。 但是只要是重新连接Master， 一次完全同步（全量复
Redis- 主从复制原理
天天的博客
01-11 540
Master节点在平时提供服务，另外一个或多个Slave节点在平时不提供服务（或只提供数据读取服务）。当Master节点由于某些原因停止服务后，再人工/自动完成Slave节点到Master节点的切换工作，以便整个Redis集群继续向外提供服务。
Redis 主从复制 原理与用法
南山行者
12-31 1万+
Redis 复制功能的几个重要方面： 1. 一个Master可以有多个Slave； 2. Redis使用异步复制。从2.8开始，Slave会周期性（每秒一次）发起一个Ack确认复制流（replication stream）被处理进度； 3. 不仅主服务器可以有从服务器， 从服务器也可以有自己的从服务器， 多个从服务器之间可以构成一个图状结构； 4. 复制在Master端是非阻塞模式的，这意
11、Redis：主从复制
cxycxytony的博客
10-28 523
文章目录11.1、概念11.2、环境配置 11.1、概念 主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master/leader)，后者称为从节点(slave/follower)；数据的复制是单向的，只能由主节点到从节点。Master以写为主，Slave 以读为主。 默认情况下，每台Redis服务器都是主节点；且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。 主从复制的作用主要包括： 1、数据冗余：主从复制实现了数据的热备份，是持
redis实战--redis主从复制实现读写分离（原理）
热门推荐
码农时代
07-25 1万+
1、redis高并发跟整个系统的高并发之间的关系 redis，你要搞高并发的话，不可避免，要把底层的缓存搞得很好 mysql，高并发，做到了，那么也是通过一系列复杂的分库分表，订单系统，事务要求的，QPS到几万，比较高了。 单机redis 的QPS只能是上万，所以就会有系统瓶颈。 读写分离，一般来说，对缓存，一般都是用来支撑读高并发的，写的请求是比较少的，可能写请求也就一秒钟几千，一两千 ...
差点崩溃了，还好有主从复制！
公众号：该用户快成仙了
10-14 574
我已经给大家图解了 AOF 和 RDB，这两个持久化技术保证了即使在服务器重启的情况下也不会丢失数据（或少量损失）。 不过，由于数据都是存储在一台服务器上，如果出事就完犊子了，比如： 如果服务器发生了宕机，由于数据恢复是需要点时间，那么这个期间是无法服务新的请求的； 如果这台服务器的硬盘出现了故障，可能数据就都丢失了。 要避免这种单点故障，最好的办法是将数据备份到其他服务器上，让这些服务器也可以对外提供服务，这样即使有一台服务器出现了故障，其他服务器依然可以继续提供服务。 多台服务器要保存同
redis主从复制
weixin_38568503的博客
04-13 1071
主从辅助步骤： 修改appendonly no: 具体操作： myredis文件夹最终是四个文件，一个完整的redis.conf和三个新建的不完整的conf文件（redis6379.conf,redis6380.conf,redis6381.conf），三个不完整的文件从完整文件引入了一些内容： 反客为主：不是自动版的 启动后配置从服务器： 新版本名字： java中的主从复制： ...
redis系列之主从复制原理
simba_1986的专栏
08-24 1825
redis系列之主从复制原理 主从的意义 1、redis要达到高可用、高并发，只有单个redis是不够的，单个redis也就只能支持几万的QPS，所以必须以集群的形式提供服务，而集群中又以多个主从组成 2、主从是以多个redis集合在一起，以一个master多个slave为模式对外提供服务，master主要以写为主，slave提供读，即是读写分离的情况，以读多写少为准，如果写比较多的情况一般
redis主从复制原理
05-15
Redis主从复制是指将一台 Redis 服务器的数据复制到其他的 Redis 服务器上，其中原始服务器被称为主服务器，其他服务器被称为从服务器。主服务器将数据同步到从服务器，使得从服务器的数据与主服务器的数据保持一致。这种复制可以增加 Redis 的性能和可靠性。 Redis主从复制的原理如下： 1. 从服务器连接到主服务器并发送 SYNC 命令。 2. 主服务器收到 SYNC 命令后，开始执行 BGSAVE 命令生成 RDB 快照文件，并使用缓冲区记录从服务器执行的写操作。 3. BGSAVE 命令完成后，主服务器将 RDB 文件发送给从服务器，从服务器接收并载入 RDB 文件。 4. 主服务器将缓冲区中的写操作发送给从服务器，从服务器执行这些写操作，使得从服务器的数据与主服务器的数据保持一致。 5. 从服务器定期向主服务器发送 PING 命令，以检测主服务器是否在线，如果主服务器宕机，从服务器将重新寻找一个可用的主服务器。 需要注意的是，Redis主从复制是异步的，主服务器将写操作发送给从服务器的时间可能会有一定的延迟。此外，主从复制还存在一些问题，例如主从切换的延迟、数据丢失等问题，需要在实际使用中进行注意和处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值