Redis技术指南-4-复制和阻塞

已于 2023-04-01 17:07:27 修改
阅读量753 收藏
点赞数
文章标签： redis 数据库 缓存
于 2023-04-01 17:01:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41773026/article/details/129899364
版权
本文详细介绍了Redis的复制机制，包括复制配置、拓扑结构、复制过程、数据同步（全量同步和部分同步）、心跳检测和异步复制。此外，还讨论了复制中的开发和运维问题，如读写分离、数据不一致、复制风暴和阻塞的内在及外在原因。复制过程涉及全量和部分同步的策略，以及如何通过心跳保持主从节点的连接。阻塞可能源于不合理的API使用、慢查询、持久化操作如fork和HugePage的影响。
摘要由CSDN通过智能技术生成

Redis技术指南-4-复制和阻塞

上一节：
Redis技术指南-3-redis持久化机制

上一节聊了Redis的持久化方式，这一节我们来看看Redis的复制和阻塞概念、

复制

  • 复制的使用方式： 如何建立或断开复制、安全性、只读等。
  • 说明复制可支持的拓扑结构，以及每个拓扑结构的使用场景。
  • 分析复制的原理，包括：建立复制、全量复制、部分复制、心跳等
  • 介绍复制过程中常见的开发和运维问题：读写分离、数据不一致、规避全量复制等。

配置

建立复制：
参与复制的节点分为master节点、slave节点。默认情况下redis都是主节点。每个从节点只有一个主节点，而主节点可以同时有多个从节点。复制的数据流动是单向的，只能master -> slave.
复制方式:

  • 配置文件中 slaveof masterHost masterPort 注意此命令是异步命令
  • redis-server 启动命令中加 --slaveof masterHost masterPort 生效
  • client 直接使用命令: slaveof masterHost masterPort 生效
  • info replication 可以查看复制关系和信息

在这里插入图片描述

断开复制： 执行命令slaveof no one

  • 断开与主节点的复制关系
  • 从节点晋升为主节点

其实还可以调整从节点slave 其他主节点。比如slaveof newMasterHost newMasterPort
切主复制流程:

  • 断开与旧主节点复制关系
  • 与新主节点建立复制关系
  • 删除从节点当前所有数据
  • 对新主节点进行复制操作

安全性
在这里插入图片描述

只读
默认从节点使用 slave-read-only=yes 配置为只读模式。因为复制只能从master -> slave, update slave can different data for master and salve, so prod not update this param

传输延迟:
复制时会有网络延迟, repl-disable-tcp-nodelay 控制是否关闭 TCP_NODELAY, 默认关闭。

  • 关闭： master -> slave all command
  • 开启: master merge small tcp data package 从而节省带宽。默认发送时间间隔取决于linux内核 (40ms)。节省带宽但是增大主从之间的延迟。 比如跨机房部署。
  • 要求低延迟，一般同机房部署并关闭 repl-disable-tcp-nodelay， 如果考虑容灾性，考虑开启此参数。

拓扑

  • 一主一从: 主节点宕机时从节点提供故障转移支持
  • 一主多从： 读比较大，从节点可分担读压力。缺点: 并发比较高时，从节点会导致主节点写命令的多次发送而过度消耗带宽，同时也增加了主节点的负载影响服务稳定性。
  • 树型结构： 1. 复制数据 2.通过引入复制中间层，减轻主节点压力。
    在这里插入图片描述

原理

1、复制过程

注意：从节点每秒 的同步r任务很重要，因为它会主动发送同步命令。一个是第一次全量，一个是网络闪退时主动发起给master 补发丢失数据。

从节点指定slaveof 命令后，复制过程就开始了，下面是整个建立复制的完整流程。
在这里插入图片描述
主要分为以下6个步骤：

  1. 保存master信息
  2. 建立socket链接： 从节点内部通过每秒运行的定时任务维护复制相关逻辑，并且和master 建立socket 链接，专门用于接收master 发送过来的复制命令。
  3. 发送ping命令： 建立复制成功后，从节点发送ping请求进行首次通信。目的：套接字是否可用、主节点可用状态。
  4. 权限验证：master可能设置requirepass参数，则需要密码验证。slave必须配置masterauth参数才能保证与master节点相同密码才能ok。
  5. 同步数据集：
    主从复制链接正常通信后，对于首次复制场景，主节点会把所持有的数据全部发送给从节点，耗时很长。
    分为全量同步和部分同步。
  6. 命令持续同步：
    master 把所有的数据同步给slave后，便完成了复制的建立流程。接下来主节点会持续的把写命令发送给从节点，保证主从数据一致性。

2、数据同步

2.8 version 以上的使用psync命令完成主从数据同步，同步过程分为： 全量复制和 部分复制。

  • 全量复制: 一般使用于初次复制场景，Redis早期支持的复制功能只有全量复制，它会把master数据一次性发给slave。当然数据量比较大时，会对主节点和网络造成很大的开销。
  • 部分复制：用于处理master 主从复制中因网络闪断等原因造成的数据丢失场景，当slave再次连接上master后，如果条件允许，master会补发丢失数据给slave。因为丢失数据少。

psync命令运行需要以下几个组件支持

  • 主从节点各自复制偏移量
    • master写命令执行后，会把命令的字节长度做累加记录，master_repl_offset
    • slave 每秒上报自己的 offset 给 master，因此master也会保存slave复制偏移量
    • slave 收到master 发送的命令后，也会累加记录自己的偏移量。slave_repl_offset
    • 可以master_repl_offset - slave_repl_offset 来分析网络是否阻塞等等
  • 主从节点复制积压缓冲区

    • 此缓冲区是master上一个固定长度queue，默认1MB。主节点写命令执行时，发一份给从节点，并且写入复制缓冲区

    • 在这里插入图片描述

    • 复制缓冲区的主要作用在于 用于部分复制和 复制命令丢失的数据补救。

  • 主节点运行id
    • master 每次启动后，都会动态分配一个40位的十六进制字符串作为 runId。
    • 因为每次 ip + port都不能保证唯一。因为这个时候有可能master 持久化文件 RDB 和 aof被替换了，这个时候仅仅用偏移量去复制就不行了，需要用runId，因为每次runId变更之后都会做全量复制。
    • 命令: info server 查看runId

psync 命令: 从节点使用这个命令 psync runId offset(当前从节点已复制的offset)
在这里插入图片描述

  • slave send psync to master, runId -> 从节点保存的master 的运行id。无runId, 也是-1， 参数offset第一次为-1
  • master 根据psync 参数和自身数据情况决定响应结果。
    • +FULLRESYNC runId offset 从节点将触发全量复制流程。
    • +CONTINUE: 从节点将触发部分复制流程
    • +ERR, 说明redis版本低于2.8 无法识别 psync，从节点将发送旧版sync 命令触发全量复制流程。

3、全量同步

主从第一次复制必须经历， 2.8 sync >=2.8 psync
下面主要是psync流程。
1、 发送psync -1： 因为 slave这个时候不知道materRunId 和 offset
注意: 主节点bgsave -> 子进程RDB
slave开始接受到接受完成这一阶段，master这段时间内的命令写入复制客户端缓冲区.
从节点加载完RDB文件后，master发送这一部分数据给slave. 注意缓冲区配置，很有可能会溢出。
client-output-buffer-limit slave 256MB64MB60
if 60s 内缓冲区size > 64MB || 256MB, master close 复制客户端链接，造成全量同步失败。
在这里插入图片描述

全量复制存在很高的时间开销：

  • master bgsave 时间
  • RDB 文件网络传输时间
  • slave clear old data time
  • slave load rdb time
  • 可能的AOF 重写时间

比如数据量 在 6G左右的主节点，从节点发起全量复制的总消耗在2分钟左右。
应当避免或者少的全量复制发生，由于成本，发明了部分复制。

4、部分同步

当master 发生网络问题和闪退问题时，从节点主动发出 psync runId offset(从节点自己的offset) , master 接到后，check runId , check offset之后的数据是否在复制积压缓冲区，在进行发送continue，进行发送这一部分数据。
在这里插入图片描述

5、心跳

主从节点建立复制后，会维护长连接，并彼此发送心跳命令。
在这里插入图片描述

机制：

  1. 主从之间ping通信，client list可以查看相关信息
  2. master 每隔10秒对slave 发送ping。存活或者连接状态。repl-ping-slave-period 控制发送频率
  3. slave 在主线程每隔1秒发送replconf ack offset, 上报从节点自身偏移量
    1. replconf 实时检测主从节点网络状态
    2. 上报自身偏移量，检查数据是否丢失，如果从节点数据丢失，再从master的复制积压缓冲区拉取丢失数据。
    3. 实现保证从节点的数量和延迟性功能。通过min-slave-to-write、min-slaves-max-lag参数配置
  4. 主节点会根据replconf 判断从节点超时时间，正常延迟时间 0 -1 , 如果超发 repl-timeout(60秒)，判定从节点下线并断开复制客户端链接。

6、异步复制

主节点执行完一条写命令，这个时候立即返回客户端，异步发送写命令同步给从节点

开发和运维中的问题

读写分离

主从配置不一样

规避全量复制

规避复制风暴： 多台从节点对同一主节点或者同一台机器的多个主节点短时间内发生全量复制问题。
单主节点复制风暴： 树形结构
单机器复制风暴： 分散主节点

阻塞

内在原因

  • 不合理的使用API或数据结构
    • 慢查询 showlog get n 查询最近n条，默认是10ms的命令就会记录到一个定长队列中
    • 大对象 redis-cli -h ip -p port bigkeys 内部分段scan操作
  • CPU饱和
    • 单核利用率100%, 比如一些不合理的设置hash的 hash-max-ziplist-entries 和 hash-max-ziplist-value, 导致数据操作时间很长
  • 持久化阻塞
    • fork阻塞 RDB fork bgsave，AOF文件重写 bgrewriteaof
    • AOF 刷盘阻塞
      • 一般fsync 都是每s执行一次，当磁盘压力过大时，主线程会主动阻塞，直到fsync完成。
    • HugePage 写操作阻塞
      • 子进程执行重写期间利用linux写时复制技术降低内存开销，因此只有写操作时Redis才复制要修改的内存页。对于开启Transparent HugePages的os，每次写命令引起的复制内存页单位由4K变为2MB，这样会拖慢写的执行时间，导致慢查询

如果自身没有找到原因，这个时候找外在原因

外在原因

  • CPU竞争
    • 进程竞争： Redis是典型的 CPU密集型应用，不建议与其他多核CPU密集型服务部署在一块。
    • 绑定CPU: 一般为了利用多核CPU，一个机器上部署多个实例，每个实例绑定一个cpu，这样可以降低cpu频繁切换的开销。但是有持久化或者复制的实例不建议，因为有fork子进程，共享cpu问题。
  • 内存交换
    • 其实就是内存和磁盘数据交换，因为如果os开启部分内存数据存储到磁盘上，这个时候就会有内存交换问题，操作数据缓慢。
  • 网络问题
    • 连接拒绝
      • 网络闪断
      • redis主动拒绝 maxclients 可以控制client最大连接数。10000
      • 连接溢出
        • image.png
    • 网络延迟
      • 比如机房，机器
    • 网卡软中断

下一节
Redis技术指南-5-理解内存

下次遇见说你好
关注
tomcat-redis-session-manager-master文档
10-09
### Tomcat-Redis-Session-Manager 使用指南及配置详解 #### 概述 在现代互联网应用中，随着用户量的增长和服务需求的增加，单一服务器往往难以满足高性能的需求，因此采用多台服务器组成的集群来共同提供服务成为...
Redis主从复制
渣渣
07-24 138
Redis主从复制原理总结 和Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，Redis的主从结构可以采用一主多从或者级联结构，Redis主从复制可以根据是否是全量分为全量同步和增量同步。下图为级联结构。 全量同步 Redis全量复制一般发生在Slave初始化阶段，这时Slave需要将Master上的所有数据都复制一份。具体步骤如下： - 从服务器连接主服务器，发送SYNC命令； - 主服务器接收到...
redis主从复制常见的一些坑
weixin_34198797的博客
04-03 5128
2019独角兽企业重金招聘Python工程师标准>>> ...
Redis(二)--主从复制过程及复制过程中的各种问题
qq_23435961的博客
07-28 473
Redis(二)–主从复制过程及复制过程中的各种问题 如果Redis的读写请求量很大，那么单个实例很有可能承担不了这么大的请求量，如何提高Redis的性能呢？你也许已经想到了，可以部署多个副本节点，业务采用读写分离的方式，把读请求分担到多个副本节点上，提高访问性能。要实现读写分离，就必须部署多个副本，每个副本需要实时同步主节点的数据。 Redis也提供了完善的主从复制机制，使用非常简单的命令，就可以构建一个多副本节点的集群。 同时，当主节点故障宕机时，我们可以把一个副本节点提升为主节点，提高Redis的可用
Redis开发运维实践指南.zip_redis_redis入门指南_redis权威指南
09-21
Redis，全称Remote Dictionary Server，是一款高性能的键值存储系统，常被用于数据库、缓存和消息中间件等场景。Redis以其高效的性能、丰富的数据结构和便捷的操作接口，深受开发者喜爱。本指南将深入探讨Redis的...
redis3.0-windows
05-22
- `README`或`readme.windows`：包含了Windows环境下安装和运行Redis的指南。 - 可能还有其他辅助工具和文档。 安装Redis 3.0在Windows上，你需要编辑`redis.conf`配置文件以适应你的环境，然后启动`redis-server....
Redis最佳实践与实战指南
06-10
### Redis最佳实践与实战指南 ...无论是开发还是运维人员，都应该深入了解Redis的工作原理和技术细节，以便更好地利用它解决实际问题。同时，随着技术的发展，Redis也在不断进化和完善，保持学习的态度是非常重要的。
Redis从入门到精通2024版 视频教程 下载 百度网盘链接4.zip
06-19
│ 09.Redis 操作位图-4.mp4 │ 10.Redis 中的 HyperLogLog.mp4 │ 11.布隆过滤器[问题场景].mp4 │ 12.布隆过滤器[概念介绍].mp4 │ 13.布隆过滤器[原理介绍].mp4 │ 14.布隆过滤器[安装与启动].mp4 │ 15....
Redis
m0_73837751的博客
11-14 769
String：简单键值存储，适合计数器、单一属性缓存。Hash：结构化存储，适用于存储对象数据（如用户信息）。List：有序队列，适合消息队列、任务队列。Set：无序集合，用于去重、唯一性统计、共同好友等。Sorted Set：有序集合，适合排行榜和积分排名。问题类型描述主要解决方案缓存穿透请求的数据既不在缓存中也不在数据库中，大量请求穿过缓存访问数据库缓存空结果、布隆过滤器、参数校验缓存击穿高并发请求集中访问缓存中某个热点数据，缓存过期导致直接访问数据库。
【Redis_Day4】内部编码和单线程模型
m0_74284629的博客
11-15 494
本篇总结了redis中的内部编码是什么，redis处理命令时采用的单线程模型，以及redis比mysql效率高的原因。
36.Redis核心设计原理
Csdn_xzh的博客
11-12 1232
Set为无序的，自动去重的集合数据类型，Set 数据结构底层实现为一个value为x`的字典（dict），当数据可以用整形表示时，Set集合将被编码为intset数据结构。ZSet 为有序的，自动去重的集合数据类型，ZSet 数据结构底层实现为字典（dict）+跳表（skiplist），当数据比较少时，用ziplist编码结构存储。ZSet 为有序的，自动去重的集合数据类型，ZSet 数据结构底层实现为 字典(dict) + 跳表(skiplist) ,当数据比较少时，用ziplist编码结构存储。
@Autowired 和 @Resource思考（注入redisTemplate时发现一些奇怪的现象）
2301_77615930的博客
11-15 690
@Autowired 和 @Resource思考（注入redisTemplate时发现一些奇怪的现象）
redis和mongodb等对比分析
JustinMars的博客
11-13 116
选择 redis 还是 MongoDB取决于具体的使用场景和需求。如果需要高速缓存、低延迟，选择 Redis；如果需要存储大规模的文档数据并执行复杂的查询，MongoDB 会是更好的选择。
Redis中的缓存设计
m0_53926113的博客
11-12 957
例如，在一个电商网站上，某些商品信息的缓存同时设定了相同的过期时间，当这些缓存同时失效时，大量的用户请求将直接打向数据库，从而引发雪崩效应。在缓存前端添加一个布隆过滤器，将所有可能存在的数据存入其中，用户请求时先通过布隆过滤器判断，如果数据不在过滤器内，直接返回“无数据”，避免无意义的数据库查询。这种情况下，即使最终更新了数据库，缓存仍然可能保留旧数据，导致数据不一致。策略，即在更新数据时，先将数据写入缓存，而不立即更新数据库，而是等到特定时间点或条件触发时，将缓存中的数据批量写入数据库。
Redis五大基本类型——String字符串命令详解（命令用法详解+思维导图详解）
linsc_05的博客
11-14 561
SET、GET、DEL、MSET、MGET、INCR、INCRBY、DECR、DECRBY、INCRBYFLOAT、APPEND、STRLEN、SETRANGE、GETRANGE
Redis的Zset在排行榜中应用
m0_72410274的博客
11-14 248
Zset在排行榜中的应用
亚马逊云科技宣布新推出Elasticahe for Redis的 Valkey缓存
最新发布
eCloudrover_2014的博客
11-15 639
您只需单击几下，即可从 ElastiCache for Redis OSS 升级到 ElastiCache for Valkey，而无需停机。
Java-Redisson分布式锁+自定义注解+AOP的方式来实现后台防止重复请求扩展
兴趣是最好的老师
11-12 186
在需要加锁的方法上使用@DistributedLock注解，并在方法参数上使用@DistributedLockParam注。自定义注解：@DistributedLock 注解用于标记需要加锁的方法，但在这个例子中，它只是作为一。启动应用并测试接口。如果不使用AOP，可以在每个需要加锁的方法中手动添加Redisson分布式锁的逻辑。代码复用和解耦：通过AOP，可以在一个地方集中处理加锁的逻辑，而不需要在每个需要加锁的方。虽然手动添加分布式锁的逻辑在某些情况下是可行的，但为了提高代码的可维护性和复用性，建议。
redis linux 安装
qq_40691438的博客
11-15 276
将 Redis 配置为绑定到 0.0.0.0 可以使其监听所有网络接口，从而允许从任何网络接口连接到 Redis 服务器。这通常用于在生产环境中允许多个客户端从不同的网络连接到 Redis。然而，这样做会暴露 Redis 服务器，因此必须确保有适当的安全措施。（我的是centos-stream-8）要搞密码，不然容易被攻击。
Redis入门指南：Key-Value数据库详解
Redis入门手册概述 Redis是一个高性能、开源的NoSQL数据库，主要使用ANSI C语言编写，支持网络连接，可作为内存数据库运行，同时也提供持久化...了解和掌握Redis的基本概念和操作，对于提升系统性能和可靠性至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

下次遇见说你好

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值