【Redis的主从复制】

最新推荐文章于 2024-07-06 20:12:43 发布
最新推荐文章于 2024-07-06 20:12:43 发布
阅读量30 收藏
点赞数
分类专栏： Redis Redis主从复制 文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liumeina_study/article/details/130861016
版权

文章目录

Redis主从复制

什么是主从复制

主从复制，是将数据库分为主节点和从节点，主节点源源不断地将数据复制给从节点，保证主从节点中存有相同的数据。有了主从复制,数据可以有多份副本，这带来了多种好处：

  • 提升数据库系统的请求处理能力

    主从同步，读写分离，可以提升Redis的性能和吞吐量，但需要注意主从数据一致性问题

  • 提升整个系统的可用性

    增强数据容灾能力，Redis主从复制，从机是主机的备份，主机宕机，从机可读不可写
    默认情况下主机宕机后，从机不可为主机
    利用哨兵可以实现主从切换，做到高可用

Redis支持主从复制功能，可以通过执行slaveof(Redis5以后改成replicaof)或者在配置文件中设置 slaveof(Redis5以后改成replicaof)来开启复制功能。

Redis的主从复制特点：

  • 主对外从对内，主可写从不可写
  • 主挂了，从不可为主

主从配置

主Redis配置： 无需特殊配置

从Redis配置：

修改从服务器上的 redis.conf 文件:

# slaveof <masterip> <masterport>
# 表示当前【从服务器】对应的【主服务器】的IP是192.168.10.135，端口是6379。 
replicaof 127.0.0.1 6379

搭建配置

在一台机器上采用伪分布式的方式部署。(生产环境应该是多台机器)

根据上面的部署方案搭建如下:

Redis-Master :127.0.0.1 6379

采用安装的方式，正常安装和配置

#1 安装redis5.0
mkdir redis-master
cd /var/redis-5.0.5/src/
make install PREFIX=/var/redis-ms/redis-master
cp /var/redis-5.0.5/redis.conf /var/redis-ms/redis-master/bin 
#2 修改redis.conf
# 将`daemonize`由`no`改为`yes` 
daemonize yes
# 默认绑定的是回环地址，默认不能被其他机器访问 
# bind 127.0.0.1
# 是否开启保护模式，由yes该为no 
protected-mode no

Redis-Slaver1:127.0.0.1 6380

#安装redis-slaver1
mkdir redis-slaver1
cp -r /var/redis-ms/redis-master/* /var/redis-ms/redis-slaver1 #修改配置文件
vim /var/redis-ms/redis-slaver1/redis.conf
port 6380
replicaof 127.0.0.1 6379

查看redis:

登录redis-cli -p 6379  输入 info 可查看#Replication
登录redis-cli -p 6380  输入 info 可查看#Replication

出现问题：

主从配置的过程中总是不能成功，不知道什么原因

  • 在redis.conf中配置了日志输出对应的log文件

  • 在日志文件中查看到异常信息

    46077:C 22 May 17:45:25.115 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
46077:C 22 May 17:45:25.115 # Redis version=4.0.8, bits=64, commit=00000000, modified=0, pid=46077, just started
46077:C 22 May 17:45:25.115 # Configuration loaded
46078:M 22 May 17:45:25.118 * Increased maximum number of open files to 10032 (it was originally set to 256).
46078:M 22 May 17:45:25.119 # Can't open the append-only file: Permission denied

    原来是append-only文件创建了但不能写，在当前文件夹下授予权限可正常启动：

    sudo chmod 777 ./bin

原理与实现

在这里插入图片描述

1. 保存主节点信息

当客户端向从服务器发送slaveof/replicaof 主机地址(127.0.0.1) 端口(6379)时，从服务器将主机ip(127.0.0.1)和端口(6379)保存到redisServer的masterhost和masterport中。

Struct redisServer{
	char *masterhost;//主服务器ip 
  int masterport;//主服务器端口
};

从服务器将向发送SLAVEOF命令的客户端返回OK，表示复制指令已经被接收，而实际上复制工作是在 OK返回之后进行。

2. 建立socket连接

slaver与master建立socket连接

slaver关联文件事件处理器

该处理器接收RDB文件(全量复制)、接收Master传播来的写命令(增量复制)
在这里插入图片描述
主服务器accept从服务器Socket连接后，创建相应的客户端状态。相当于从服务器是主服务器的Client 端。
在这里插入图片描述

3. 发送ping命令

Slaver向Master发送ping命令

1、检测socket的读写状态

2、检测Master能否正常处理

Master的响应:
1、发送“pong” , 说明正常

2、返回错误，说明Master不正常

3、timeout，说明网络超时

在这里插入图片描述

4. 权限验证

主从正常连接后，进行权限验证
主未设置密码(requirepass=“”) ，从也不用设置密码(masterauth=“”)

主设置密码(requirepass!=“”),从需要设置密码(masterauth=主的requirepass的值) 或者从通过auth命令向主发送密码
在这里插入图片描述

5. 发送端口信息

在身份验证步骤之后，从服务器将执行命令REPLCONF listening-port ，向主服务器发送从服务器的监听端口号。
在这里插入图片描述

6. 同步数据

Redis 2.8之后分为全量同步和增量同步。

7. 命令传播

当同步数据完成后，主从服务器就会进入命令传播阶段，主服务器只要将自己执行的写命令发送给从服
务器，而从服务器只要一直执行并接收主服务器发来的写命令。

同步数据集

Redis 2.8以前使用SYNC命令同步复制

Redis 2.8之后采用PSYNC命令替代SYNC

旧版本

Redis 2.8以前

实现方式

Redis的同步功能分为同步(sync)和命令传播(command propagate)。

1)同步操作:

  1. 通过从服务器发送到SYNC命令给主服务器
  2. 主服务器生成RDB文件并发送给从服务器，同时发送保存所有写命令给从服务器
  3. 从服务器清空之前数据并执行解释RDB文件
  4. 保持数据一致(还需要命令传播过程才能保持一致)

在这里插入图片描述
2)命令传播操作:

同步操作完成后，主服务器执行写命令，该命令发送给从服务器并执行，使主从保存一致。

缺陷

没有全量同步和增量同步的概念，从服务器在同步时，会清空所有数据。

主从服务器断线后重复制，主服务器会重新生成RDB文件和重新记录缓冲区的所有命令，并全量同步到从服务器上。

新版

Redis 2.8以后

实现方式

在Redis 2.8之后使用PSYNC命令，具备完整重同步和部分重同步模式。

  • Redis 的主从同步，分为全量同步和增量同步。
  • 只有从机第一次连接上主机是全量同步。
  • 断线重连有可能触发全量同步也有可能是增量同步( master 判断 runid 是否一致)。

在这里插入图片描述

除此之外的情况都是增量同步。

全量同步

Redis的全量同步过程主要分三个阶段:

  • 同步快照阶段: Master 创建并发送快照RDB给 Slave ， Slave 载入并解析快照。 Master 同时将此阶段所产生的新的写命令存储到缓冲区。
  • 同步写缓冲阶段: Master 向 Slave 同步存储在缓冲区的写操作命令。
  • 同步增量阶段: Master 向 Slave 同步写操作命令。

在这里插入图片描述

增量同步

  • Redis增量同步主要指Slave完成初始化后开始正常工作时， Master 发生的写操作同步到 Slave 的过程。
  • 通常情况下， Master 每执行一个写命令就会向 Slave 发送相同的写命令，然后 Slave 接收并执行。

心跳检测

在命令传播阶段，从服务器默认会以每秒一次的频率向主服务器发送命令:

replconf ack <replication_offset>
#ack :应答 #replication_offset:从服务器当前的复制偏移量

主要作用有三个:

  1. 检测主从的连接状态

    检测主从服务器的网络连接状态

​ 通过向主服务器发送INFO replication命令，可以列出从服务器列表，可以看出从最后一次向主发送命令距离

​ 现在过了多少秒。lag的值应该在0或1之间跳动，如果超过1则说明主从之间的连接有 故障。

  1. 辅助实现min-slaves

    Redis可以通过配置防止主服务器在不安全的情况下执行写命令

    min-slaves-to-write 3 (min-replicas-to-write 3 )

    min-slaves-max-lag 10 (min-replicas-max-lag 10)

    上面的配置表示:从服务器的数量少于3个，或者三个从服务器的延迟(lag)值都大于或等于10 秒时，主服务器将拒绝执行写命令。这里的延迟值就是上面INFOreplication命令的lag值。

  2. 检测命令丢失

    如果因为网络故障，主服务器传播给从服务器的写命令在半路丢失，那么当从服务器向主服务器发送REPLCONF ACK命令时，主服务器将发觉从服务器当前的复制偏移量少于自己的复制偏移量， 然后主服务器就会根据从服务器提交的复制偏移量，在复制积压缓冲区里面找到从服务器缺少的数据，并将这些数据重新发送给从服务器。(补发) 网络不断

    增量同步:网断了，再次连接时

diandian2u
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis主从复制问题和扩容问题的解决思路
01-19
为了解决Redis主从Copy的问题，有如下两个解决方案： 主动复制所谓主动复制，就是业务层双写多个Redis，避开Redis自带的主从复制。但是自己干同步，就会产生一致性问题，为了保证主从一致，需要加入一系列的验证机制...
Redis主从复制和集群配置
08-21
Redis主从复制和集群配置说明
redis主从复制
weixin_63231007的博客
02-28 1696
redis主从复制原理以及简单演示(环境真难搭)
Redis主从复制原理
热门推荐
张维鹏的博客
01-10 3万+
一、为什么需要主从复制： 1、单台Redis节点的局限性： （1）单节点的Redis能够支撑QPS大概在5万左右，如果上千万的用户访问，Redis就承载不了，成为了高并发的瓶颈。 （2）内存上，单个Redis的内存不宜过大，内存过大会导致主从同步时全量同步时间过长，而且在实例重启恢复时也会消耗很长的数据加载时间，一般控制在10G以内即可。 （2）CPU 的利用率上，单个 Redis 实例只能利用单个核心，这单个核心在面临海量数据的存取和管理工作时压力会非常大。 四、Redis主从复..
Redis主从复制
z318913的博客
07-19 2284
Redis主从复制
redis主从复制详解
SO_zxn的博客
04-12 964
redis redis主从复制
Redis 主从复制
小林coding
03-12 9592
大家好，我是小林哥。 又来图解 Redis 啦。 我在前两篇已经给大家图解了 AOF 和 RDB，这两个持久化技术保证了即使在服务器重启的情况下也不会丢失数据（或少量损失）。 不过，由于数据都是存储在一台服务器上，如果出事就完犊子了，比如： 如果服务器发生了宕机，由于数据恢复是需要点时间，那么这个期间是无法服务新的请求的； 如果这台服务器的硬盘出现了故障，可能数据就都丢失了。 要避免这种单点故障，最好的办法是将数据备份到其他服务器上，让这些服务器也可以对外提供服务，这样即使有一台服务器出现了故障，其他服
【进阶篇】2.12 Redis主从复制详解
日拱一卒无有尽，功不唐捐终入海
07-12 1078
Redis的主从复制是指将一台Redis服务器（主服务器）的数据复制到其他Redis服务器（从服务器）上的过程。主服务器接收客户端的写操作并将其记录到本地数据库中，同时将这些写操作发送给从服务器。从服务器接收这些写操作并将其在本地数据库中重放，从而实现主从数据的同步。
Redis主从复制实现RCE
rev1ve的博客
12-01 2180
主从复制是指将一台Redis主服务器的数据，复制到其他的Redis从服务器。前者称为主节点(master)，后者称为从节点(slave)；主服务器可以进行读写操作，当发生写操作时自动将写操作同步给从服务器，而从服务器一般是只读，并接受主服务器同步过来写操作命令，然后执行这条命令。 也就是说，所有的数据修改只在主服务器上进行，然后将最新的数据同步给从服务器，这样就使得主从服务器的数据是一致的。建立主从复制，有3种方式：PS：建立主从关系只需要在从节点操作就行了，主节点不用任何操作我们先在同一个机器开两个red
Redis主从复制以及主从复制技术原理.docx
10-14
Redis 主从复制技术原理 概述 Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API。Redis 主从复制是指将一台 Redis 服务器的数据，复制到...
LAMP架构+Redis主从复制.docx
10-08
LAMP架构+Redis主从复制 本文档主要介绍了LAMP架构的安装和配置，以及Redis主从复制的设置。LAMP架构是指Linux操作系统、Apache HTTP服务器、MySQL数据库和PHP编程语言的组合，而Redis则是一个开源的、基于内存的...
redis主从复制原理的深入讲解
12-16
本文主要针对redis主从复制的原理进行了讲解，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧 1.复制过程 2.数据间的同步 3.全量复制 4.部分复制 5.心跳 6.异步复制 1.复制过程 从节点执行 ...
.net core Redis 使用有序集合实现延迟队列
weixin_43632687的博客
07-03 278
集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。不同的是每个元素都会关联一个 double 类型的分数。redis 正是通过分数来为集合中的成员进行从小到大的排序。Redis 有序集合和集合一样也是 string 类型元素的集合,且不允许重复的成员。有序集合的成员是唯一的,但分数(score)却可以重复。
Redis的zset的zrem命令可以做到O(1)吗？
读书就是赚钱
07-06 311
事情是这样的，当我用zrem命令去移除value的时候，我想算法复杂度为什么一定要是LogN
redis7新特性、源码解析
最新发布
baidu_32223873的博客
07-06 628
master的数据集会对应一个随机数的复制ID和偏移量，偏移量是数据集的字节数，slave端也会保存复制ID和偏移量，PSYNC时，slave将复制ID和偏移量发送给master，master通过复制ID找到偏移量，判断slave的同步进度，如果master的backlog缓冲区包含slave所需的数据，则进行增量同步，否则全量同步。repl-backlog-size：master的复制缓冲区大小，越大则容忍slave断联的时间越长，第一个slave连接时，才会创建复制缓冲区。
Redis基础教程（八）：redis集合(Set)
菜鸟小码的博客
07-02 879
Redis 集合（Set）是一种无序且不重复的字符串集合，可以用于存储一系列唯一的元素。集合的这种特性使其在很多场景下非常有用，例如用户兴趣标签管理、黑名单存储、好友关系列表等。本文将详细介绍 Redis 集合的基本概念、常用命令，并通过实战案例展示集合在实际项目中的应用。
Redis中list类型操作命令(操作演示、命令语法、返回值、时间复杂度、注意事项等）
Shine0115的博客
07-06 626
如果 list 中没有元素，blpop、brpop 取元素时就会阻塞等待(类似于阻塞队列)，同时也设置阻塞等待的时间，如果在超过等待时间之前，list 中有了元素，就直接弹出，如果等到超过这个最大等待时间，就不在进行等待，而且在等待的过程中，Redis 可以去执行其他的命令。如果指定的 key 存在，从“右侧”向 list 中插入一个或多个元素，如果不存在，则插入失败，和 lpushx 命令用法一样。注意：如果指定的下标越界，没有那么多的元素，那么，在获取的时候，列表中有多少个元素就返回多少个元素。
Redis如何实现主从复制
qq_51967234的博客
07-02 715
发生在初始化阶段，从节点会主动向主节点发出一个同步请求，之后主节点会生成一份当前数据的快照给从节点，从节点在收到数据进行加载后，会完成全量复制。主是主服务器，从是从服务器，主服务器(master ）的数据如果更新了也会同步到从服务器(slave)，一个主服务器可以搭配很多个从服务器，，每一次Master（主）结点发生数据变更之后，会把变化的增量数据同步给从节点，增量复制是通过维护offset复制偏移量来实现的。Redis主从复制包括。
【Redis7】零基础篇
为技术发烧而生
07-02 914
a）性能极高-Redis能读的速度是110000次/秒，写的速度是81000次/秒b）Redis数据类型丰富，不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储c）Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用d）Redis支持数据的备份，即master-slave模式的数据备份英文：https://redis.io/中文：https://www.redis.cn/5.0版本是直接升级到。
redis 主从复制
08-12
要在Linux上搭建Redis主从复制，需要按照以下步骤进行操作： 1. 安装Redis：在Linux上安装Redis，可以使用apt-get或yum命令进行安装。 2. 配置Redis主服务器：在Redis主服务器上，需要修改redis.conf配置文件，将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值