Redis主从复制

最新推荐文章于 2022-05-25 11:54:49 发布
最新推荐文章于 2022-05-25 11:54:49 发布
阅读量430 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47495420/article/details/107148422
版权

前言

一个服务器节点可以部署多个redis实例，每个实例都有独立的配置文件

例如：如下配置

include /opt/redis/data/tstest-9-99/redis_commom.conf
port 29999
dir /opt/redis/data/
bind 30.1.3.29
dbfilename tstest-9-99.rdb
pidfile /opt/redis/data/tstest-9-99/tstest-9-99.pid
logfile /opt/redis/data/tstest-9-99/tstest-9-99.log
requiredbname tstest
requirepass "000000033RcdAFS2Gg1Eujn7UX8lPOWhjQWfwX78QZJEWePQlcc="
requirereaduserpass "00000003SGKbkilo9O0NU9TwFau6/yYt9fOnGpqPawl3RFeyNq8="
requireuserpass "00000003tGnRBFAHm7y3zCEcsjkOfz/RuAhBUkLiemM6ezGTycg="
requiresalt 8cMpo+VxGo+hb+xF5RDJGw==
cipher-dir  /opt/redis/etc/cipher
syslog-ident tstest-9-99
requirereadusersalt M7IsVvb2boKD6PSBYw5I/g==
requireusersalt OB6HNaPOr/tOL+IsxABRTQ==
maxmemory 4096mb
include /opt/redis/data/tstest-9-99/redis_paramgroup.conf
rename-command FLUSHALL ""
rename-command FLUSHDB ""
rename-command EVAL ""
rename-command KEYS ""

进入某个redis实例数据库：

redis-cli -h 30.1.3.29 -p 29999 -cipherdir /opt/redis/etc/cipher -a tstest@dbuser@Admin@123

主从复制

主从复制的配置还是比较简单的，下面来了解下主从复制的实现原理

Redis的主从复制过程大体上分3个阶段：建立连接、数据同步、命令传播

建立连接

这个阶段主要是从服务器发出slaveof命令之后，与主服务器如何建立连接，为数据同步做准备的过程。

1）在slaveof命令执行之后，从服务器根据设置的master的ip地址和端口，创建连向主服务器的socket套接字连接，连接成功后，从服务器会为这个套接字关联一个专门的处理器，用于处理后续的复制工作

2）建立连接之后，从服务器会向主服务器发送ping命令，确认主服务器是否可用，以及当前是否可用接受处理命令。如果收到主服务器的pong回复说明是可用的，否则有可能是网络超时或主服务器阻塞，从服务器会断开连接发起重连

3）身份验证。如果主服务器设置了requirepass选项，那么从服务器必须配置masterauth选项，且保证密码一致才能通过验证

4）身份验证完成之后，从服务器会发送自己的监听端口，主服务器会保存下来

12376:C 08 Apr 10:26:05.952 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
12376:C 08 Apr 10:26:05.953 # Redis version=5.0.6, bits=64, commit=00000000, modified=0, pid=12376, just started
12376:C 08 Apr 10:26:05.953 # Configuration loaded
12377:M 08 Apr 10:26:05.956 * Running mode=standalone, port=26661.
12377:M 08 Apr 10:26:05.956 # Server initialized
12377:M 08 Apr 10:26:05.956 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
12377:M 08 Apr 10:26:05.956 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.
12377:M 08 Apr 10:26:05.957 * Ready to accept connections
12377:S 08 Apr 10:26:06.012 * Before turning into a replica, using my master parameters to synthesize a cached master: I may be able to synchronize with the new master with just a partial transfer.
12377:S 08 Apr 10:26:06.012 * REPLICAOF 30.1.3.29:26661 enabled (user request from 'id=3 addr=30.1.3.30:58031 fd=7 name= age=0 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=43 qbuf-free=32725 obl=0 oll=0 omem=0 events=r cmd=slaveof')
12377:S 08 Apr 10:26:06.959 * Connecting to MASTER 30.1.3.29:26661
12377:S 08 Apr 10:26:06.959 * MASTER <-> REPLICA sync started
12377:S 08 Apr 10:26:06.959 * Non blocking connect for SYNC fired the event.
12377:S 08 Apr 10:26:06.959 * Master replied to PING, replication can continue...
数据同步

在主从服务器建立连接确认各自身份之后，就开始数据同步，从服务器向主服务器发送PSYNC命令，执行同步操作，并把自己的数据库状态更新至主服务器的数据库状态

Redis的主从同步分为：完整重同步（full resynchronization）和部分重同步（partial resynchronization）

完整重同步

有两种情况下是完整重同步，一是slave连接上master第一次复制的时候；二是如果当主从断线，重新连接复制的时候有可能是完整重同步

  • 从服务器连接主服务器，发送SYNC命令

  • 主服务器接收到SYNC命名后，开始执行bgsave命令生成RDB文件并使用缓冲区记录此后执行的所有写命令

  • 主服务器bgsave执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令

  • 从服务器收到快照文件后丢弃所有旧数据，载入收到的快照

  • 主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令

  • 从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令

12377:S 08 Apr 10:26:06.987 * Full resync from master: 8b7764acf7438d3c02efeaf6c4d76a00afac67a3:0
12377:S 08 Apr 10:26:06.987 * Discarding previously cached master state.
12377:S 08 Apr 10:26:07.025 * MASTER <-> REPLICA sync: receiving 175 bytes from master
12377:S 08 Apr 10:26:07.025 * MASTER <-> REPLICA sync: Flushing old data
12377:S 08 Apr 10:26:07.025 * MASTER <-> REPLICA sync: Loading DB in memory
12377:S 08 Apr 10:26:07.025 * MASTER <-> REPLICA sync: Finished with success
部分重同步

部分重同步是用于处理断线后重复制的情况，先介绍几个用于部分重同步的部分

  • runid(replication ID)，主服务器运行id，Redis实例在启动时，随机生成一个长度40的唯一字符串来标识当前节点

  • offset，复制偏移量。主服务器和从服务器各自维护一个复制偏移量，记录传输的字节数。当主节点向从节点发送N个字节数据时，主节点的offset增加N，从节点收到主节点传来的N个字节数据时，从节点的offset增加N

  • replication backlog buffer，复制积压缓冲区。是一个固定长度的FIFO队列，大小由配置参数repl-backlog-size指定，默认大小1MB。需要注意的是该缓冲区由master维护并且有且只有一个，所有slave共享此缓冲区，其作用在于备份最近主库发送给从库的数据

当slave连接到master，会执行PSYNC <runid> <offset>发送记录旧的master的runid（replication ID）和偏移量offset，这样master能够只发送slave所缺的增量部分。但是如果master的复制积压缓存区没有足够的命令记录，或者slave传的runid(replication ID)不对，就会进行完整重同步，即slave会获得一个完整的数据集副本

12377:S 07 May 00:17:19.027 # MASTER timeout: no data nor PING received...
12377:S 07 May 00:17:19.027 # Connection with master lost.
12377:S 07 May 00:17:19.027 * Caching the disconnected master state.
12377:S 07 May 00:17:19.027 * Connecting to MASTER 30.1.3.29:26661
12377:S 07 May 00:17:19.027 * MASTER <-> REPLICA sync started
12377:S 07 May 00:17:19.036 * Non blocking connect for SYNC fired the event.
12377:S 07 May 00:17:19.046 * Master replied to PING, replication can continue...
12377:S 07 May 00:17:19.056 * Trying a partial resynchronization (request 8b7764acf7438d3c02efeaf6c4d76a00afac67a3:337474002).
12377:S 07 May 00:17:19.056 * Successful partial resynchronization with master.
12377:S 07 May 00:17:19.056 * MASTER <-> REPLICA sync: Master accepted a Partial Resynchronization.
实操

在主服务器redis控制台执行：

30.1.3.29:26661> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=30.1.3.30,port=26661,state=online,offset=349732013,lag=1
master_replid:8b7764acf7438d3c02efeaf6c4d76a00afac67a3
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:349732013
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:348683438
repl_backlog_histlen:1048576

在从服务器redis控制台执行：

30.1.3.30:26661> info replication
# Replication
role:slave
master_host:30.1.3.29
master_port:26661
master_link_status:up
master_last_io_seconds_ago:4
master_sync_in_progress:0
slave_repl_offset:349734529
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:8b7764acf7438d3c02efeaf6c4d76a00afac67a3
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:349734529
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:348685954
repl_backlog_histlen:1048576

在主服务器redis控制台执行：

30.1.3.29:26661> set ts test
OK
30.1.3.29:26661> get ts
"test"

在从服务器redis控制台执行：

30.1.3.30:26661> get ts
"test"

然后我们试着在从服务器中写入数据，会提示不能在只读的从服务器中写入数据

30.1.3.30:26661> set tstest haha
(error) READONLY You can't write against a read only replica.

主从复制面临的问题

当主节点发生故障的时候，需要手动的将一个从节点晋升为主节点，同时通知应用方修改主节点地址并重启应用，同时需要命令其它从节点复制新的主节点，整个过程需要人工干预。主节点的写能力受到单机的限制。主节点的存储能力受到单机的限制。

深入学习Redis（3）：主从复制

萌兰三太子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Redis主从复制问题和扩容问题的解决思路
01-19
为了解决Redis主从Copy的问题，有如下两个解决方案： 主动复制所谓主动复制，就是业务层双写多个Redis，避开Redis自带的主从复制。但是自己干同步，就会产生一致性问题，为了保证主从一致，需要加入一系列的验证机制...
redis配置（详解）
白_的博客
11-29 5728
最常用配置： 　　参数说明 　　redis.conf 配置项说明如下： 　　1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程 　　daemonize no 　　2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定 　　pidfile /var/run/redis.pid 　　3. 指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为..
Redis缓存数据库安全加固指导（二）
weixin_30569033的博客
09-18 373
背景 在众多开源缓存技术中，Redis无疑是目前功能最为强大，应用最多的缓存技术之一，参考2018年国外数据库技术权威网站DB-Engines关于key-value数据库流行度排名，Redis暂列第一位，但是原生Redis版本在安全方面非常薄弱，很多地方不满足安全要求，如果暴露在公网上，极易受到恶意攻击，导致数据泄露和丢失。 本文主要是在原生开源软件Redis3.0基础上，系统的在安全特性方面...
redis详解
YABAJ的专栏
07-17 1587
工作原理 事件模型 redis以其高性能而闻名，它最大程度地利用了 单线程,非阻塞,多路复用的I/O模型 来快速地处理请求。 通信协议 Redis基本上就是一个接受并处理来自客户端请求的非阻塞、I/O复用的TCP服务器。我们可以使用各种编程语言通过TCP协议与Redis进行通信。对Redis来说，这种通信协议叫做Redis Serialization Protocal（RESP，Redis序列...
redis常用操作
Hello World!
10-12 1532
直接上代码： #!usr/bin/env python #coding: utf-8 ''' Created on 2013-10-11 @author: root ''' import redis import hashlib def main(): # 连接redis数据库 redis_db = redis.StrictRedis(host='10.2.161
Redis主从复制集群的实现
kang50055的博客
05-25 464
Redis主从复制集群的实现 主从复制的特点 一个master可以有多个slave 一个slave只能有一个master 数据流向是从master到slave单向的 1.主从复制的实现 Redis SLave也要开启持久化并设置和master同样的连接密码，因为后期slave会有提升为master可能，slave端切换master同步后丢失之前的所有数据，而通过持久化可以恢复数据 一旦某个slave成为一个master的slave，redis slave服务会清空当前re
Redis主从复制和集群配置
08-21
Redis主从复制和集群配置说明
Redis主从复制以及主从复制技术原理.docx
10-14
Redis 主从复制技术原理 概述 Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API。Redis 主从复制是指将一台 Redis 服务器的数据，复制到...
LAMP架构+Redis主从复制.docx
最新发布
10-08
LAMP架构+Redis主从复制 本文档主要介绍了LAMP架构的安装和配置，以及Redis主从复制的设置。LAMP架构是指Linux操作系统、Apache HTTP服务器、MySQL数据库和PHP编程语言的组合，而Redis则是一个开源的、基于内存的...
redis主从复制原理的深入讲解
12-16
本文主要针对redis主从复制的原理进行了讲解，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧 1.复制过程 2.数据间的同步 3.全量复制 4.部分复制 5.心跳 6.异步复制 1.复制过程 从节点执行 ...
解决redis修改requirepass后不生效的问题
09-09
今天小编就为大家分享一篇解决redis修改requirepass后不生效的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Redis 常用配置
杨海吉
01-18 777
on't be rewritten by command "CONFIG REWRITE" # from admin or Redis Sentinel. Since Redis always uses the last processed # line as value of a configuration directive, you'd better put includes # at the beginning of this file to avoid overwriting config cha
springboot2+redis集群 redis密码加解密
jdk159的博客
09-21 8966
创作背景 springboot2 集成redis集群网上的例子已经很多了，但涉及到密码几乎都是明文，这在实际生产环境中，是不允许的，特写此文章。 源码片段 第一步：pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
设置redis访问密码
weixin_30456039的博客
05-16 578
在服务器上，这里以linux服务器为例，为redis配置密码。 1.第一种方式 （当前这种linux配置redis密码的方法是一种临时的，如果redis重启之后密码就会失效，） （1）首先进入redis，如果没有开启redis则需要先开启：[root@iZ94jzcra1hZ bin]# redis-cli -p 6379127.0.0.1:6379>（2）查看当前redis有没有设置...
RedisTemplate 对存入redis 中的json 字符串加密和解密
gjp014的专栏
10-11 1958
使用RedisTemplate 对redis操作时，存入的数据为明文时数据容易被盗，我了解决这个问题，我们可以对数据进行加密后再存入redis 中。具体操作如下： 1.启用缓存： package com.tms.config; import com.fasterxml.jackson.annotation.JsonAutoDetect; import com.fasterxml...
java中的Cipher类
热门推荐
孤云博客
01-03 7万+
随时随地阅读更多技术实战干货，获取项目源码、学习资料，请关注源代码社区公众号(ydmsq666) 该类位于javax.crypto包下，声明为 public class Cipher extends Object 此类为加密和解密提供密码功能。它构成了 Java Cryptographic Extension...
Java加密与解密的艺术-----Cipher类
u012598738的专栏
04-10 2541
Cipher类为加密和解密提供密码功能。它构成了Java Cryptographic Extension（JCE）框架的核心。在本章的上述内容中，只完成了密钥的处理，并未完成加密与解密的操作。这些核心操作需要通过Cipher类来实现。 // 此类为加密和解密提供密码功能 public class Cipher extends Object  Cipher类是一个引擎类，它需要通过getIn
采用Cipher DES针对文件加密、解密
小飞侠的博客
04-26 406
由于经常用一些加密或者解密文件的，所以写了一个简单的采用Cipher DES针对文件加密、解密的工具类，记录一下，防止以后忘记了！ ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 ...
redis 主从复制
08-12
要在Linux上搭建Redis主从复制，需要按照以下步骤进行操作： 1. 安装Redis：在Linux上安装Redis，可以使用apt-get或yum命令进行安装。 2. 配置Redis主服务器：在Redis主服务器上，需要修改redis.conf配置文件，将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值