数据同步：主从库如何实现数据一致？

最新推荐文章于 2024-10-15 17:49:08 发布
最新推荐文章于 2024-10-15 17:49:08 发布
阅读量333 收藏
点赞数
分类专栏： Redis 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tony10010/article/details/118721968
版权
Redis的高可靠性通过主从复制实现，读写分离，主库执行写操作后异步同步给从库。首次复制为主从全量复制，后续通过增量复制保持同步。主从级联模式下，主库断连后，会保存操作记录，恢复时从缓存中发送未同步数据。若从库落后过多，可能导致数据不一致。
摘要由CSDN通过智能技术生成

Redis高可靠性

  • 数据尽量少丢失
  • 服务尽量少中断

Redis主从模式，读写分离

  • 读操作： 主库和从库都可以
  • 写操作：首先主库执行，然后主库将操作同步给读库
  • 通过 replicaof（Redis 5.0 之前使用 slaveof）命令形成主库和从库的关系 replicaof 主库ip 主库端口
  • 全量复制，主从长链接，增量复制
  • 全量复制时，基于硬盘复制，和socker复制（无盘复制）
  • Redis主从库的复制是异步的，主库收到命令操作后，在本地执行完成后，就会返回给客户端，并不会等到和从库同步完成后才返回给客户端，读数据容易造成主从不同步，数据一致性差的问题

主从复制第一次过程

  • 从库给主库发送psync命令，其中包含了主库的runID和复制的进度offset参数。由于第一次从库不知道主库的runID，于是这个参数设置为问号，offset为-1时，表示需要全量复制
  • 主库收到响应后，会发送FULLRESYNC响应给从库，带上主库自己的runID和主库目前的复制进度
  • 主库将所有数据同步给从库。从库收到数据后，在从库本地完成数据清空与主库发送的RDB文件中的数据加载
  • 从库同步过程中，主库的写操作会先记录到缓存replication buffer中。同步完成后，主库会把buffer中的写操作发送给从库
  • 后续数据通过主从之间长链接的形式进行传递，省去建立链接的开销
    在这里插入图片描述

主从级联模式

  • 主-从-从 也就是主库全量复制一次到一个从库，然后后续复制操作交由收到全量rdb的从库进行

主从网络断开怎么办

  • 主库在断开与从库的连接后，主库会继续写replication_buffer 也会写repl_backlog_buffer
  • repl_backlog_buffer 环形缓冲区，作用是用于记录主库操作的位置，从库会记录自己读到的位置，一般来说master >= slave
  • 增量复制，从库连接恢复后，会发送psync命令和自己的复制进度，然后主库在repl_backlog_buffer中找到从库发送的偏移量，然后将主库的位置与从库之间的数据发送给从库，数据记录在replication_buffer中
  • 因为是环形缓冲区，从库的读取速度如果比较慢，会被主库落下一圈，也就是说主库会覆盖从库还没有读到的数据，导致主从数据不一致
  • 主库会根据从库各自的复制进度，来决定这个从库可以进行增量复制，还是全量复制
蜗牛你慢点Ⅷ
关注
专栏目录
redis数据同步：主从库如何实现数据一致？
阅读之后，对你有帮助，那就点个赞再走吧
10-14 270
前两节课，我们学习了AOF和RDB，如果Redis发生了宕机，它们可以分别通过回放日志和重新读入RDB文件的方式恢复数据，从而保证尽量少丢失数据，提升可靠性。 不过，即使用了这两种方法，也依然存在服务不可用的问题。比如说，我们在实际使用时只运行了一个Redis实例，那么，如果这个实例宕机了，它在恢复期间，是无法服务新来的数据存取请求的。 那我们总说的Redis具有高可靠性，又是什么意思呢？其实，这里有两层含义：一是数据尽量少丢失，二是服务尽量少中断。AOF和RDB保证了前者，而对于后者，Redis的做法
【redis】数据同步：主从库如何实现数据一致
weixin_57597001的博客
04-03 461
如果redis实例宕机了，在恢复期间，无法服务新来的数据存取请求。redis提供了主从模式，采用读写分离-保证数据副本的一致读操作-主库，从库都可以接收写操作：主库先执行，然后主库将写操作同步给从库。
06 数据同步：主从库如何实现数据一致？
wmt0501的博客
04-08 462
Redis 如何实现高可用的？ 之前学的两篇文章中，我们得知，当 Redis 数据库发生宕机的时候，我们可以采取重新读取 RDB 文件或者回放 AOF 日志的两种方式实现数据恢复。而 Redis 主打的就是高可用，然而为了实现数据库的高可用除了实现数据尽量少丢失以外，还要实现服务尽量少断开。 1、Redis 如何实现服务尽量少断开？ Redis 采用增加副本冗余量的方式（创建多个从库）来实现的，一般情况下，客户端的请求会在主库上执行，然而为了避免当主库宕机后，需要进行数据的恢复，然而在数据恢复期间无法提供服
数据同步：主从库如何实现数据一致
Mono的博客
09-21 324
如果Redis发⽣了宕机，AOF和RDB可以分别通过回放⽇志和重新读⼊RDB⽂ 件的⽅式恢复数据，从⽽保证尽量少丢失数据，提升可靠性。 不过，即使⽤了这两种⽅法，也依然存在服务不可⽤的问题。⽐如说，我们在实际使⽤时只运⾏了⼀个 Redis实例，那么，如果这个实例宕机了，它在恢复期间，是⽆法服务新来的数据存取请求的。 那我们总说的Redis具有⾼可靠性有两层含义：⼀是数据尽量少丢失 数据尽量少丢失，⼆是 服务尽量少中断 服务尽量少中断。AOF和RDB保证了前者，⽽对于后者，Redis的做法就是增加副本冗余量
【基础篇】数据同步：主从库如何实现数据一致？
最新发布
shenyongsi的博客
10-15 833
前两篇文章，我们学习了 AOF 和 RDB，如果 Redis 发生了宕机，它们可以分别通过回放日志和重新读入 RDB 文件的方式恢复数据，从而保证尽量少丢失数据，提升可靠性。不过，即使用了这两种方法，也依然存在服务不可用的问题。比如说，我们在实际使用时只运行了一个 Redis 实例，那么，如果这个实例宕机了，它在恢复期间，是无法服务新来的数据存取请求的。那我们总说的 Redis 具有高可靠性，又是什么意思呢？。AOF 和 RDB 保证了前者，而对于后者，Redis 的做法就是。
06 _ 数据同步：主从库如何实现数据一致？
cjh的博客
12-03 278
前两节课，我们学习了AOF和RDB，如果Redis发生了宕机，它们可以分别通过回放日志和重新读入RDB文件的方式恢复数据，从而保证尽量少丢失数据，提升可靠性。不过，即使用了这两种方法，也依然存在服务不可用的问题。比如说，我们在实际使用时只运行了一个Redis实例，那么，如果这个实例宕机了，它在恢复期间，是无法服务新来的数据存取请求的。那我们总说的Redis具有高可靠性，又是什么意思呢？其实，这里有两层含义：一是数据尽量少丢失，二是服务尽量少中断。AOF和RDB保证了前者，而对于后者，Redis的做法就是增加
Redis数据同步
weixin_40108561的博客
09-10 1455
高可靠性 数据尽量少丢失，AOF（Append Only File）日志和RDB（Redis DataBase）快照机制保证这一点。 服务尽量少中断，Redis的做法是增加副本冗余量。 Redis 提供了主从库模式，以保证数据副本的一致，主从库之间采用的是读写分离的方式。 主从库间如何进行第一次同步 启动多个 Redis 实例的时候，它们相互之间就可以通过 replicaof（Redis 5.0 之前使用 slaveof）命令形成主库和从库的关系，之后会按照三个阶段完成数据的第一次同步。 例如，现在有
Redis数据同步：主从库是如何实现数据一致的
Pert的博客
11-16 2641
我们学习了 AOF 和 RDB，如果 Redis 发生了宕机，它们可以分别通过回放日志和重新读入 RDB 文件的方式恢复数据，从而保证尽量少丢失数据，提升可靠性。不过，即使用了这两种方法，也依然存在服务不可用的问题。比如说，我们在实际使用时只运行了一个 Redis 实例，那么，如果这个实例宕机了，它在恢复期间，是无法服务新来的数据存取请求的。那我们总说的 Redis 具有高可靠性，又是什么意思呢？，将一份数据同时保存在多个实例上。
redis(五)：主从库如何实现数据一致
cfuckfuck的博客
03-30 262
AOF和RDB分别可以通过回放日志和重新读入RDB文件的方式恢复数据，从而保证尽量少丢失数据，提升可靠性。 即使用了这两种方法，也依然存在服务不可用的问题，比如实例宕机了在恢复期间，是无法服务新来的数据存取请求。 那Redis又何来的高可靠性呢？ 这里有两层含义： 数据少量丢失 服务尽量少中断 AOF和RDB保证了前者，而对于后者，Redis的做法就是增加副本冗余量，将一份数据同时保存在多个实例上。即使又一个实例出现了故障，需要过一段时间才能恢复，其他实例也可以对外提供服务，不会影响业务使用。 多实例保
mysql做主从复制
a545132569的博客
01-21 364
公司的生产mysql已经运行很久了，最近打算把公司的生产库做个主从复制以达到备份数据的效果； 简单说下步骤： 一：将现有生产库备份一下，可用图形化工具导出数据库表和数据，或者使用命令来将数据库导出，命令方式如下： 理论应该使用：FLUSH TABLES WITH READ LOCK 导出之前应该将表锁定；以确保在导出数据过程中产生新的数据 查看主库状态：show master status; 通过命令mysqldump -u username -p database >文件名...
MySQL：主从数据库同步是怎么实现的
OceanStar的博客
11-16 2207
如何配置MySQL的主从同步 当客户端提交一个事务到MySQL的集群后，直到客户端收到集群返回成功响应，这个过程种，MySQL集群需要执行很多操作： 主库提交事务、更新存储引擎中的数据 、把binlog写到磁盘上、给客户端返回响应、把binlog复制到所有从库上 每个从库把复制过来的binlog写到暂存日志中，回放这个binlog、更新存储引擎中的数据、给主库返回复制成功的响应 这些操作的时序非常重要，这里面的“时序”，说的就是这些操作的先后循环。同样的操作，因为时序不同，对应用程序来说，有很大的差异。
第六章 数据同步：主从库如何实现数据一致
JavaAlenboy
04-26 1213
第六章 数据同步：主从库如何实现数据一致 ? Redis 提供了主从库模式，以保证数据副本的一致，主从库之间采用的是读写分离的方式。 读操作：主库、从库都可以接收； 写操作：首先到主库执行，然后，主库将写操作同步给从库。 主从库间如何进行第一次同步 ? 关于 replicaof 命令 主从库间的第一次同步：多个Redis实例之间可以通过replicaof命令形成主库和从库的关系。 例如，现在有实例 1（ip：172.16.19.3）和实例 2（ip：172.16.19.5），我们在实例 2 上执行以下
主从库理论知识-主从同步如何实现？
li123128的博客
07-25 761
  大型网站为了减轻服务器处理海量的并发访问，所产生的性能问题，采用了很多解决方案，其中最主流的解决方案就是读写分离，即将读操作和写操作分别导流到不同的服务器集群执行，到了数据业务层，数据访问层，如果还是传统的单靠一台服务器去扛，面对如此多的数据库连接操作，必然会崩溃，如果造成数据的丢失，是不堪设想的。本文将利用mysql的主从配置，实现读写分离。 主从库理论知识 主从同步如何实现？   同步工作主要又三步，第一步就是主服务器（master）将对数据的操作记录到二进制日志文件（Binary log）中，
mysql 配置主从服务器，实现数据同步
TianYaLangZi_123的博客
12-18 419
1、准备工作： 腾讯云的centos 两台服务器：（mysql版本尽量保持一致，主服务器的版本不能高于从服务器） 主服务器：ip1; 从服务器：ip2； 待同步的数据库：mash; 同步主从数据库数据，保持主从数据一致！ 需要注意的是！！！ 线上的项目导出数据的时候，保证主库上锁，等slave导入、slave start之后在解锁； slave重启的时候也一样，重启之前，主库上锁...
Mysql 主从数据库 数据同步 原理
洛豪的专栏
05-03 726
在Mysql中，数据同步Replication是一个异步的复制过程，也就是从Master复制到Slave。      同步过程会启动三个线程，Master端的IO线程，Slave端的IO线程和SQL线程。（在旧的Mysql中，只有IO线程，性能不是很高，会丢失数据）。      要实现同步功能，需要打开Master端的二进制日志功能。因为整个同步过程就是Slave从Master
mysql数据库主从同步_MySQL数据库主从同步
weixin_35215045的博客
01-28 875
环境描述：主数据库master ip：192.168.1.205:3306从数据库slave ip：192.168.1.206:3306###############################################################################配置步骤：a.主数据库配置步骤1、开启主数据库的binlog(二进制日志功能)，并设置serve...
详解MySQL数据库设置主从同步的方法
牛奔的博客
04-02 775
简介MySQL主从同步是目前使用比较广泛的数据库架构，技术比较成熟，配置也不复杂，特别是对于负载比较大的网站，主从同步能够有效缓解数据库读写的压力。MySQL主从同步的机制：MySQL同步的流程大致如下:      1、主服务器(master)将变更事件(更新、删除、表结构改变等等)写入二进制日志(master log)。      2、从服务器(slave)的IO线程从主服务器(binlog d...
ControlLogix CPU时钟同步教程：主从系统实现
这个教程不仅教授了编程技巧，还涵盖了工业自动化领域的重要概念，如实时数据同步、网络架构管理以及时间同步在工业控制系统中的关键作用。对于希望进入或提升工业自动化技能的人来说，这是一个非常实用的实践案例。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值