Redis(二十二)：复制（二），mysql架构师

最新推荐文章于 2024-06-15 10:04:09 发布
最新推荐文章于 2024-06-15 10:04:09 发布
阅读量637 收藏
点赞数
分类专栏： 程序员 文章标签： 面试 java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_64205716/article/details/121384863
版权

Psync命令的实现

前面我们提到过，现在Redis进行复制，从服务器是使用了Psync命令代替了Sync命令，下面介绍一下Psync命令的实现

Psync的调用方式有两种

  • 从服务器没有复制过主服务器，或者从服务器执行了slaveof no one命令，取消了从主关系，那么当从服务器执行slaveof命令时，会发送Psync ? -1命令，主动请求主服务器进行完整重同步（第一次同步肯定要执行完整重同步）

  • 从服务器已经复制过主服务器，但是中途断开连接了，进行重新连接时，也是发送Psync命令，命令格式为如下：Psync ，runid就是前面提到过的从服务器保留主服务器的运行ID，offset就是复制偏移量，这样主服务器就可以对进行比对，看是否需要执行完整重同步，再去看复制积压缓冲池里面是否还存有该复制偏移量往后的数据，如果有，就进行部分重同步。

根据情况的不同，接收到Psync命令的主服务器会向从服务器返回以下三种回复之一

  • 如果主服务器返回+FULLRESYNC 回复给从服务器，则代表主服务器将要进行完整重同步，runid是主服务器的运行ID，从服务器接受到这个运行ID之后就会保存起来，在下一次需要发送Psync命令时试用，而offset就是主服务器当前的复制偏移量，从服务器此时会将这个值作为自己的复制偏移量初值，然后进行维护起来（前面提到过，主从服务器都会维护自己的一个复制偏移量），此时从服务器需要等待主服务器发送RDB文件，载入后，再等待主服务器发送缓冲池在空白期执行的写命令，然后执行这些写命令，至此完成同步。

  • 如果主服务器返回的是+CONTINUE回复，那么表示主服务器将与从服务器执行部分重同步操作，从服务器只要等着主服务器将自己缺少的那部分数据发送过来就可以了（主服务器从复制积压缓冲池中取出）

  • 如果主服务器返回-ERR回复，表示版本不匹配，主服务器的版本太低（低于2.8），无法识别从服务器发送的Psync命令，但并不会停止同步，而是从服务器会向主服务器发送Sync命令，完成同步操作

过程如下图所示

在这里插入图片描述

复制/同步的实现

上面介绍了Psync命令的过程，但没有具体到其如何进行同步和复制的实现

整个复制同步过程总共有7个步骤

  1. 设置主服务器的地址和端口

  2. 建立套接字连接

  3. 发送Ping命令

  4. 身份验证

  5. 发送端口信息

  6. 同步

  7. 命令传播

步骤1：设置主服务器的地址和端口

当客户端向从服务器发送一下命令时：

slaveof 127.0.0.1 6379

首先要做的就是将客户端给定的主服务器IP地址以及端口号保存到服务器状态的masterhost属性和masterport属性里面

Stcuct redisServer{

//…

前面的一些信息

//主服务器地址

char *masterhost;

//主服务器端口号

int masterport;

//…

};

SLAVEOF命令也是一个异步命令，会启用另一个进程去执行，在完成保存主服务器IP地址和端口号的工作后，从服务器将发送OK回复给客户端

在这里插入图片描述

这一步只是代表复制指令被接收，下面才会真正去执行复制工作

步骤二：建立套接字连接

得到了主服务器IP地址和端口号，下面的一步肯定是要进行主从服务器之间连接

从服务器会自己新建一个套接字，然后使用这个套接字连接到服务器，如果连接成功，收到连接成功回复的从服务器套接字会自动去绑定专门用于处理复制工作的文件事件处理器，这个处理器将会负责执行后续的复制工作，比如去接收RDB文件、接收后面主服务器通过传播发送的写命令

而主服务器在接受从服务器套接字连接之后，**会为该套接字创建相应的一个客户端状态，将从服务器视作一个客户端去对待，那么此时从服务器就可以向

【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】

开源分享完整内容戳这里

主服务器发送命令请求，而主服务器可以接受从服务器发送的命令请求进行返回命令回复**（不熟悉套接字连接可以回看前面系列的套接字连接）

在这里插入图片描述

步骤3：发送Ping命令

完成连接之后，从服务器就成为了主服务器的一个客户端，从服务器第一件事就是去发送Ping命令，一般客户端向服务器发送Ping命令，服务器会返回Pong的信息

在这里插入图片描述

发送ping命令主要有两个作用

  1. 虽然主从服务器建立了套接字连接，但主从服务器并没有使用套接字进行过任何通信，难以确定状态是否正常，使用ping命令可以知道连接状态是否正常

  2. 同时，Ping命令可以确定主服务器可以正常执行命令，因为复制工作接下来的几个步骤都必须在主服务器可以正常执行命令的情况下进行

从服务器在发送Ping命令之后将遇到下列三种情况之一

  • 第一种是网络状态不佳，主服务器接收到了Ping已经回复了pong，但从服务器不可以在规定时限内读取出命令回复的内容，这样就表示主从服务器之间的网络连接状态不佳，不可以继续执行复制工作的后续步骤，当出现这种情况时，从服务器会断开连接，然后重新创建连接主服务器的套接字。

  • 第二种是主服务出错，主服务器会向从服务器返回一个错误，表示主服务器暂时没办法处理从服务器的命令请求，不能够执行复制工作的后续步骤，当出现这种情况时，从服务器也是会断开连接，然后重新创建连接主服务器的套接字。

  • 第三种是正常情况，从服务器读取到了Pong回复，表示主从服务器之间连接状态正常并且主服务器可以正常相应从服务器的请求，然后会继续执行下面的复制工作

在这里插入图片描述

步骤4：身份验证

现在从服务器可以接收主服务器返回的PONG，证明连接一切正常，下一步就是要进行身份验证了

  • 如果从服务器的配置文件设置了masterauth选项，就会进行身份验证

  • 如果从服务器的配置文件没有设置masterauth选项，就不会进行身份验证

在这里插入图片描述

其实这个身份验证就是从服务器向主服务器发送了一条AUTH命令。

那么对于主服务器这边就会出现4种情况

  • 如果主服务器设置了密码验证，即requirepass选项，而且从服务器也设置了masterauth选项，那么就会执行AUTH命令，如果验证通过，复制工作可以继续进行，与此相反，如果验证不通过，主服务器将返回一个invalid passwor的错误

  • 如果主服务器设置了密码验证，但从服务器没有设置了masterauth选项，主服务器会返回一个NOAUTH错误

  • 如果主服务器没有设置密码验证，但从服务器设置了masterauth选项，主服务器也将返回一个no password is set 的错误

  • 如果主服务器没有设置密码验证，从服务器也没有设置masterauth选项，继续执行命令，继续下面的复制工作

m0_64205716
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深入 Redis 主从复制的原理详解
weixin_33859231的博客
05-13 157
文章目录：1、复制过程2、数据间的同步3、全量复制4、部分复制5、心跳6、异步复制复制原理1.复制过程复制的过程步骤如下：1、从节点执行 slaveof 命令 2、从节点只是保存了 slaveof 命令中主节点的信息，并没有立即发起复制 3、从节点内部的定时任务发现有主节点的信息，开始使用 socket 连接主节点 4、连接建立成功后，发送 ping 命令，希望得到 pong 命令响应，...
linux添加远程端口报错error:INVALID_PORT
u013008898的博客
06-04 1771
直接编辑防火墙文件进行修改
centos7 远程端口添加防火墙规则报错Error:INVALID_PORT
热门推荐
无知是恶
04-14 1万+
某天遇到了这个错误，以为是偶然情况，结果就像触发了什么不得了的诅咒，频繁遇到了。。。微笑面对------- 执行命令firewall-cmd --zone=public --add-port=12345/tcp --permanent后提示Error:INVALID_PORT 解决办法： vi /etc/firewalld/zones/public.xml 进入这个防火墙设置文件 然后 把po...
Redis 7.0性能大揭秘：如何优化缓存命中率？
架构师专栏
01-05 1182
Redis 7.0性能优化其实就是个细活儿，需要我们在实际应用中不断调整和优化。从合理设计键值结构到选择合适的淘汰策略，每一步都至关重要。当然，定期监控和及时调整也是不可或缺的。记住，优化缓存命中率，就是在优化整个系统的性能。
阿里架构师教你处理高并发：2种方法，解决Redis和Mysql一致性
Leo的博客
04-21 1211
需求起因 在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。 这个业务场景，主要是解决读数据从Redis缓存，一般都是按照下图的流程来进行业务操作。 读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新：数据库和缓存更新，就容易出现缓存(Redis)和数...
架构面试精讲第三节 分布式技术RPC、MQ、Redis、Mysql、restful详解
fegus的博客
05-13 1030
07 RPC：如何在面试中展现出“造轮子”的能力？ 我们知道，很多应用系统发展到一定规模之后，都会向着服务化方向演进，演进后的单体系统就变成了由一个个微服务组成的服务化系统，各个微服务系统之间通过远程 RPC 调用的方式通信。 可以说，RPC 是微服务架构的基础，从事互联网系统开发，就离不开 RPC 框架，所以这一讲，我们就立足面试场景下对 RPC 技术的考察，来讲解你要掌握的技术点和面试思路。 案例背景 主流的 RPC 框架很多，比如 Dubbo、Thrift、gRPC 等，非主流的框架你在 GitHu
图解Redis，Redis主从复制与Redis哨兵机制
学Java，找哪吒
03-15 6946
通过RDB开始保存快照，同时将所有接收到的用于修改数据库的命令缓存起来，master数据库执行完RDB持久化后，master将RBD文件和所有缓存的命令发送到所有的slave数据库，完成一次数据同步；由于所有的写操作都发生在master数据库，然后同步到slave数据库中，所以会有一定的数据延迟，当系统负担过重时，延迟越大，slave机器的增加也会增加数据延迟的时间。设置要监控的master服务器，quorum表示至少有几个哨兵认为客观下线，同意故障转移的法定票数，因此哨兵服务器一般为奇数个。
Redis和mysql数据怎么保持数据一致的？
Javaesandyou的博客
01-11 2966
需求起因 在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。 这个业务场景，主要是解决读数据从Redis缓存，一般都是按照下图的流程来进行业务操作。 读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新：数据库和缓存更新，就容易出现缓存(Redis)和数据库（MySQL）间的数据一致性问题。 不管是先写MySQL数据库，再删除Redis缓存；还是先删除缓存，再写库，
Redis面试题详解:哨兵 复制 事务 集群 持久化等
JavaAQA的博客
12-10 895
Redis主要有哪些功能？ 1.哨兵（Sentinel）和复制（Replication） Redis服务器毫无征兆的罢工是个麻烦事，如何保证备份的机器是原始服务器的完整备份呢？这时候就需要哨兵和复制。 Sentinel可以管理多个Redis服务器，它提供了监控，提醒以及自动的故障转移的功能，Replication则是负责让一个Redis服务器可以配备多个备份的服务器。 Redis也是利用这两个功...
高并发架构系列：Redis缓存和MySQL数据一致性方案详解
weixin_44599169的博客
04-13 968
高并发架构系列：Redis缓存和MySQL数据一致性方案详解 RedisMySQL 【今日推荐】：为什么一到面试就懵逼！>>> 需求起因 在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。 这个业务场景，主要是解决读数据从Redis缓存，一般都是按照下图的流程...
使用HAProxy、PHP、Redis和MySQL支撑10亿请求每周架构细节
03-03
Octivi联合创始人兼软件架构师AntoniOrfin将向你介绍一个非常简单的架构，使用HAProxy、PHP、Redis和MySQL就能支撑每周10亿请求。同时，你还能了解项目未来的横向扩展途径及常见的模式。在这篇文章中，我将展示一个...
MongoDB，Netty，Nginx，MySQL，Java，Redis，Shiro，Solr，SpringBoot.zip
03-06
每天都在进步，每周都在总结，Java架构师成长之路。目前已经完成：MongoDB，Netty，Nginx，MySQL，Java，Redis，Shiro，Solr，SpringBoot，SpringData，SSO，Mybatis，Kotlin，还在持续更新中.zip 每天都在进步，...
2021互联网大厂Java架构师面试题突击视频教程
07-13
29_你们公司生产环境的redis集群的部署架构是什么样的？ 30_分布式缓存相关面试题的回答技巧总结 31_体验一下面试官可能会对分布式系统发起的一串连环炮 32_为什么要把系统拆分成分布式的？为啥要用dubbo？ 33_dubbo...
JAVA后端架构师成长路线图-2023版.pdf
11-09
该资源通过访谈数十位一线大厂架构师，了解他们的成长历程，了解最新的企业技术，抽象出了架构师的成长模型，实战贯穿，制定了本套课程。 该资源分为十三个部分，涵盖了架构师的成长模型、计算机基础知识、Java编程...
如何从零训练多模态大模型（预训练方向）
2201_75499313的博客
06-12 1369
参考 Finetune LLaVA on Custom Datasets[13]将训练样本以列表的形式保存到 json 文件，其中每一个样本是一个字典，它至少包含三个字段：id：全局唯一的字符串image：图片的路径，可以是绝对路径，也可以是相对于image_folder的相对路径conversations：人类和语言模型的对话},},},...完成数据的处理后，修改 finetune.sh[14] 中的 data_path 参数（必须）以及其他想要调整的参数（可选，例如学习率）。
闲聊最近招聘面试
JavaQ
06-14 1143
最近在为团队招聘开发人员，筛选了200多份简历，面试了50多人，感触良多，回想当初自己多多少少也存在这些问题，想着做一个总结。首先，面试不是闲聊，要通过短暂的时间尽可能向面试官展示你的各方面能力，不仅限于沟通表达、逻辑思维、技能掌握情况、设计能力、解决问题能力等。作为面试官一般都很忙，都在想着尽快挖掘你的能力和潜力，好结束面试专心做其它的工作，所以，面对提问的问题，要简明扼要地回答。例如，当面试官...
力扣 面试题17.04.消失的数字
最新发布
m0_46676283的博客
06-15 2023
数组nums包含从0到n的所有整数，但其中缺了一个。请编写代码找出那个缺失的整数。你有办法在O(n)时间内完成吗？输入：[9,6,4,2,3,5,7,0,1]解答思路：使用异或思想解题。输入：[3,0,1]
java技术专家面试指南80问【java学习+面试宝典】（七）
fengbeely的博客
06-15 1205
索引是一种数据结构,可以帮助我们快速的进行数据的查找。在Java中，可以将一个类的定义放在另外一个类的定义内部，这就是 内部类。内部类本身就是类的一个属性，与其他属性定义方式一致。1）计算机体系结构是指那些能够被程序员看到的计算机的属性。如指令集、数据类型等；2）计算机组成是指如何实现计算机体系结构所体现出来的属性；3）以乘法指令为例，计算机是否有乘法指令，属于体系结构的问题。乘法指令是采用专用的乘法器，还是使用加法器和移位器构成，属于计算机组成的问题。1.mycat的全局id方案。
【Android面试八股文】HandlerThread是什么？有什么使用场景?
字节卷动
06-15 334
是 Android 提供的一个便捷类，它继承自Thread类，并且内部集成了Looper和Handler，使其能够在一个独立的线程中处理消息队列。这对于需要后台线程进行任务处理并与主线程进行通讯的情况非常有用。从源码分析中可以看到，本质上是对Thread类的扩展，它通过在run()方法中创建和启动Looper来实现消息循环机制，使得我们可以方便地在单独的线程中处理消息队列。内部封装了Looper和Handler的创建和管理，简化了多线程处理中的许多细节工作。通过使用。
我想将frontend 也是用volumes，将其映射到/app/frontend目录，在/app/frontend下install以及build，如何实现 docker-compose.yml文件： version: '3' services: frontend: build: context: ./frontend dockerfile: Dockerfile ports: - 8010:80 restart: always backend: build: context: ./backend dockerfile: Dockerfile volumes: - /app/backend:/app environment: - CELERY_BROKER_URL=redis://redis:6379/0 command: python manage.py runserver 0.0.0.0:8000 ports: - 8011:8000 restart: always celery-worker: build: context: ./backend dockerfile: Dockerfile volumes: - /app/backend:/app environment: - CELERY_BROKER_URL=redis://redis:6379/0 command: celery -A server worker -l info --pool=solo --concurrency=1 depends_on: - redis - backend restart: always celery-beat: build: context: ./backend dockerfile: Dockerfile volumes: - /app/backend:/app environment: - CELERY_BROKER_URL=redis://redis:6379/0 command: celery -A server beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler depends_on: - redis - backend restart: always redis: image: redis:latest ports: - 6379:6379 restart: always mysql: image: mysql:latest environment: - MYSQL_ROOT_PASSWORD=sacfxSql258147@ ports: - 8016:3306 volumes: - ./mysql:/var/lib/mysql restart: always frontend：dockerfile文件 FROM node:16.18.1 WORKDIR /app/frontend COPY package*.json ./ RUN npm install COPY . . RUN npm run build:prod FROM nginx:latest COPY --from=0 /app/frontend/dist/ /usr/share/nginx/html EXPOSE 80 CMD ["nginx", "-g", "daemon off;"]
07-14
- CELERY_BROKER_URL=redis://redis:6379/0 command: python manage.py runserver 0.0.0.0:8000 ports: - 8011:8000 restart: always celery-worker: build: context: ./backend dockerfile: Dockerfile ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值