Redis主从复制(二)

最新推荐文章于 2020-06-02 13:59:21 发布
最新推荐文章于 2020-06-02 13:59:21 发布
阅读量206 收藏
点赞数
分类专栏： Redis 文章标签： java redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42282547/article/details/106392764
版权
本文详细介绍了Redis主从复制的工作流程，包括数据同步阶段的全量和部分复制，以及命令传播阶段的实时保持数据一致性的机制。重点讨论了复制缓冲区、服务器运行ID、复制偏移量等关键要素在部分复制中的作用，强调了合理配置复制缓冲区大小以避免数据溢出和主从数据一致性问题的重要性。
摘要由CSDN通过智能技术生成
主从复制工作流程

阶段二:数据同步阶段工作流程

  • 在slave初次连接master后,复制master中的所有数据到slave
  • 将slave的数据库状态更新成master当前的数据状态

步骤一:请求同步数据
步骤二:创建RDB同步数据
步骤三:恢复RDB同步数据
步骤四:请求部分同步数据
步骤五:恢复部分同步数据
至此,数据同步工作完成
状态:
slave:
具有master的全部数据,包含RDB过程接收的数据
master:
保存slave当前数据同步的位置
总体:完成了数据的克隆
在这里插入图片描述
数据同步阶段master的说明

  1. 如果master数据量较大,数据同步阶段应避开流量高峰期,避免造成master阻塞,影响业务运行
  2. 复制缓冲区的大小设定不合理,会导致数据溢出,如进行全量复制周期太长,进行部分复制时发现数据已经存在丢失的情况,必须进行第二次全量复制,致使slave陷入死循环

    修改master中设置缓冲区的大小:
    repl-backlog-size 1mb(默认是1兆)

  3. master单机内存占用主机内存的比例不应过大,建议使用50%-70%的内存,留下30%-50%的内存用于执行bgsave命令和创建复制缓冲区.

数据同步阶段slave的说明

  1. 为避免slave进行全量复制,部分复制时服务器响应阻塞或数据不同步,建议关闭此期间的对外服务.
最低0.47元/天 解锁文章
NSAKA_
关注
专栏目录
Redis主从复制和集群配置
08-21
### Redis主从复制和集群配置详解 #### 一、Redis主从复制原理及配置 **1.1 概述** Redis的主从复制机制是一种重要的数据同步方式，它支持一个或多个从数据库(slave)与主数据库(master)之间进行数据同步。其中，...
redis 高阶（六）主从复制
java_shm的专栏
08-24 171
一.主从复制简介 1.你的“Redis”是否高可用 1.1 单机redis的风险与问题 问题1.机器故障 现象：硬盘故障、系统崩溃 本质：数据丢失，很可能对业务造成灾难性打击 结论：基本上会放弃使用redis. 问题2.容量瓶颈 现象：内存不足，从16G升级到64G，从64G升级到128G，无限升级内存 本质：穷，硬件条件跟不上 结论：放弃使用redis 结论： 为了避免单点Redis服务器故障，准备多台服务器，互相连通。将数据复制多个副本保存在不同的服 务器上，连接在一起，并保证
Redis主从复制问题和扩容问题的解决思路
01-19
为了解决Redis主从Copy的问题，有如下两个解决方案： 主动复制所谓主动复制，就是业务层双写多个Redis，避开Redis自带的主从复制。但是自己干同步，就会产生一致性问题，为了保证主从一致，需要加入一系列的验证机制...
LAMP架构+Redis主从复制.docx
最新发布
10-08
二、Redis主从复制 Redis是一个开源的、基于内存的数据存储系统，具有高性能和高可用性。使用Redis主从复制，可以实现高可用性和负载均衡。 2.1 Redis安装 使用rpm命令安装Redis，并配置主从复制。Redis主从复制...
redis主从复制原理的深入讲解
12-16
本文主要针对redis主从复制的原理进行了讲解，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧 1.复制过程 2.数据间的同步 3.全量复制 4.部分复制 5.心跳 6.异步复制 1.复制过程 从节点执行 ...
Redis主从复制以及主从复制技术原理.docx
10-14
Redis 主从复制技术原理 概述 Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API。Redis 主从复制是指将一台 Redis 服务器的数据，复制到...
解决 Error creating bean with name redisConnectionFactory问题
WangXiaoYuuuuu
06-02 7640
Error creating bean with name ‘cacheManager’ defined in class path resource [org/springframework/boot/autoconfigure/cache/RedisCacheConfiguration.class]: Unsatisfied dependency expressed through method ‘cacheManager’ parameter 0; nested exception is org.sp
Redis三种删除策略
WangXiaoYuuuuu
04-21 4855
首先我们先说一下redis删除的是过期数据,而什么是过期数据呢?过期数据就是设置了有效性的数据到达了过期时间的数据. TTL指令获取数据状态 返回时间:具有时效性的数据 返回-1:表示永久有效的数据 返回-2:表示已经过期的数据或被删除的数据或未定义的数据 时效性数据的存储结构 数据删除策略的目标 在内存占用与CPU占用之间寻找一种平衡,顾此失彼都会造成整体redis性能的下降,甚至引发服务...
Linux下Redis配置文件
WangXiaoYuuuuu
04-18 1479
基础配置 daemonize yes 以守护进程方式启动,使用本启动方式,redis将以服务的形式存在,日志将不再打印到命令窗口中 port 6*** 设置当前服务启动端口号 dir "/自定义目录/redis/data" 设定当前服务文件保存位置,包含日志文件,持久化文件 logfile "6*.log"** 设定日志文件名,便于查阅 RDB启动方式-save指令相关配置 dbfilename ...
Redis主从复制常见的一些问题
WangXiaoYuuuuu
05-29 439
频繁的全量复制(一) 伴随着系统的运行,master的数据会越来越大,一旦master重启,runid将发生变化,会导致所有的slave进行全量复制 内部优化调整方案: master 内部创建master_replid变量,使用runid相同的策略生成,长度41位,并发送给左右的slave 在master关闭时执行命令shutdown save,进行RDB持久化,将runid和offset存储到RDB文件中 repl-id repl-offset 通过redis-check-rdb命令可以查看该信息
Redis持久化RDB和AOF的区别
WangXiaoYuuuuu
04-19 387
RDB和AOF的如何选择 对数据非常敏感,建议使用默认的AOF持久化方案 AOF持久化策略使用everysecond,每秒钟fsync一次,该策略redis仍可以保持很好的处理性能,当出现问题时,最多丢失0-1秒的数据 注意:由于AOF文件存储体积较大,且恢复速度慢 数据呈现阶段有效性,建议使用RDB持久化方案 数据可以良好的做到阶段内无丢失(该阶段是开发者或运维人员手工维护的),且恢...
Redis持久化-AOF
WangXiaoYuuuuu
04-19 310
AOF AOF持久化:以独立日志的方式记录每次写命令,重启时再重新执行AOF文件中命令达到恢复数据的目的. AOF的主要作用是解决了数据持久化的实时性,目前已经时redis持久化的主流方式 AOF写数据的过程 AOF写数据的三种策略 always(每次) 每次写入操作均同步到AOF文件中,数据零误差,性能较低,不建议使用 everysec(每秒) 每秒将缓存区中的指令同步到AOF文件中,数据准...
Redis五种数据类型
WangXiaoYuuuuu
04-16 216
概念: Redis是用C语言开发的一个开源的高性能键值对(key-value)的非关系型数据库 特征: 1.数据间没有必然的关联关系 2.内部采用单线程机制进行工作 3.高性能 4.多数据类型支持 _______________________________________________________ 数据类型学习笔记: string 字符串 存储的数据:单个数据,最简单的数据存储类型,...
springboot2.x版本下的redis注意
WangXiaoYuuuuu
04-16 212
以前一直使用的springboot1.x版本的,项目升级后修改为2.x版本,redis就报错了 首先是pom依赖需要修改 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-...
Redis主从复制(三)
WangXiaoYuuuuu
05-29 201
数据同步+命令传播阶段工作流程 心跳机制 进入命令传播阶段后,master和slave间需要进行数据信息交换,使用心跳机制进行维护,实现双方连接保持在线 master心跳: 指令:PING 周期:由repl-ping-slave-period决定,默认10秒 作用:判断slave是否在线 查询:INFO replication 获取slave最后一次连接时间间隔,lag项维持在0或1视为正常 slave心跳: 指令:REPLCONF ACK{offset} 周期:1秒 作用1:汇报slave自
Redis持久化-RDB
WangXiaoYuuuuu
04-19 178
持久化 言简意赅,持久化就是将内存中的数据存储在硬盘中. 持久化分为两种: RDB(快照) 将当前数据状态进行保存,快照形式,存储数据结果,存储格式简单,关注点在数据 AOF(日志) 将数据的操作过程进行保存,日志形式,存储操作过程,存储格式复杂,关注点在数据的操作过程 RDB save指令-启动方式 命令:save 作用:手动执行一次保存操作 save指令相关配置 Redis相关配置...
Redis通用指令学习
WangXiaoYuuuuu
04-16 161
key key是一个字符串,通过key获取redis中保存的数据 key基本操作 删除指定key:del key 查看key是否存在:exists key 获取key的类型:type key key扩展操作(时效性控制) 为指定key设置有效期 expire key seconds (秒) pexpire key millliseconds (毫秒) 下面这两个是使用时间戳 expir...
Redis事务
WangXiaoYuuuuu
04-20 125
redis事务就是一个命令执行的队列,将一系列定义命令包装成一个整体(一个队列).当执行时,一次性按照添加顺序依次执行,中间不会被打断或干扰. 一个队列中,一次性,顺序性,排他性的执行一系列命令. 事务的基本操作 开启事务 multi 作用:设定事务的开启位置,此指令执行后,后续的所有指令均加入到事务中(队列中) 执行事务 exec 作用:设定事务的结束位置,同时执行事务,与multi成对出现,...
Redis主从复制详解与实战
"Redis主从复制技术的详细解析" Redis主从复制是Redis数据库系统中的一个重要特性，它允许数据在主节点（Master）和从节点（Slave）之间进行同步，以实现数据冗余、故障恢复、负载均衡以及高可用性的基础架构。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值