Redis Cluster Gossip Protocol: MEET

已于 2023-10-04 01:26:50 修改
阅读量261 收藏
点赞数
分类专栏： redis 文章标签： redis cluster gossip
于 2023-10-04 01:14:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/helowken2/article/details/127964837
版权

返回目录

CLUSTER MEET

过程说明

client Node A Node B cmd: cluster meet B_ip B_port [B_cport] Invalid node address specified: ip:port OK alt [ip or port or cport is invalid] clusterCron message1: MEET message2: PONG handshake completed clusterCron message3: PING message4: PONG handshake completed client Node A Node B

注意：B_ip 不能使用域名

Node A 收到client发送的meet命令后：
  1. 如果 B_cport 不存在，则 B_cport = B_port + 10000
  2. 检查 B_ip, B_port, B_cport 的合法性
  3. 在自己的cluster节点字典中查找是否存在这样的节点
    • 处于handshake状态 &&
    • ip == B_ip &&
    • port == B_port &&
    • cport == B_cport
      如果存在，说明相同的节点已经处于handshake阶段，不需要重复handshake，返回OK给client。
  4. 新建实体B：
    • 生成一个随机节点ID
    • 设置创建时间为当前时间
    • 添加标记: NODE_HANDSHAKE | NODE_MEET
    • 设置传入的 ip, port, cport
  5. 把实体B加入到自己的cluster节点字典
  6. 返回OK给client

clusterCron: 一个专门处理cluster间通信的周期性调度。

消息说明

以下执行步骤只挑选了主要的步骤。

message1：A meet B

Node A 在ClusterCron时:

  1. 检查B是否存在NODE_MEET标记，没有则返回
  2. 判断跟B的handshake是否已经timeout：
    当前时间 - 节点的创建时间 > max(cluster-node-timeout, 1000)
    （cluster-node-timeout 是配置项）
  3. 如果timeout了，从cluster节点字典中删除B的信息并返回
  4. 检查是否存在指向Node B的link，如果没有则创建一个（方向为TO）
  5. 连通后发送message1（MEET）给Node B
  6. 从实体B中移除NODE_MEET标记
message2：B pong A

Node B在收到message1后：

  1. 如果没有配置 cluster-announce-ip，则从socket中查找自己的ip
  2. 新建实体A
    • 生成一个随机节点ID
    • 设置创建时间为当前时间
    • 通过socket查找Node A的ip
    • 添加标记: NODE_HANDSHAKE
    • 设置传入的 ip, port, cport
  3. 把实体A加入到cluster节点字典
  4. 处理消息中的gossip部分
  5. 回复message2（PONG）给Node A
  6. 到此，在Node B看来，还没有完成跟Node A的handshake，所以不会直接使用message1中Node A的ID，也不会更新A的slots分布

Node A在收到message2后：

  1. 从message2中获取Node B的ID，更新实体B。因为之前新建实体B时用的是随机ID，而这次message2中带的才是真正的ID，所以需要更新
  2. 移除实体B中的HANDSHAKE标记
  3. 根据message2中的信息设置实体B为master或者slave
  4. 到此，在A看来，已完成跟B的handshake过程。但此时A还没有获取B中的slots分布。handshake完成后的下一次ping/pong才会更新slots。
message3：B ping A

Node B 在ClusterCron时:

  1. 检查是否存在指向Node A的link，没有则创建一个（方向为TO）
  2. 连通后发送message3（PING）给Node A

Node A在收到message3后：

  1. 更新currentEpoch和configEpoch
  2. 如果没有配置 cluster-announce-ip，则从socket中查找自己的ip
  3. 回复message4（PONG）给Node B
  4. 更新实体B中slots的分布
  5. 处理gossip和extension部分
message4： A pong B

Node B在收到message4后：

  1. 从message4中获取Node A的ID，更新实体A。因为之前新建实体A时用的是随机ID，而这次message4中带的才是真正的ID，所以需要更新
  2. 移除实体A中的HANDSHAKE标记
  3. 根据message4中的信息设置实体B为master或者slave
  4. 到此，在B看来，已完成跟A的handshake过程。但此时B还没有获取A中的slots分布。handshake完成后的下一次ping/pong才会更新slots。

至此：
5. 当Node A和Node B都完成了handshake过程后，就会进入相互ping/pong/update等的阶段
6. 而Node B可以从Node A的ping/pong中获取到Node A的slots分布，从而更新到实体A
7. 只有handshake成功后的下一次ping/pong才会真正的更新自己cluster节点字典中的实体。

Demo

Node A的日志
# Step 1
# Node A向Node B发送message1（MEET），fe4d****这个ID是实体B随机生成的
3383:M 22 Nov 2022 15:02:45.098 . Connecting with Node fe4d416c13a24d5dc03a6fff25181d3ae15f95ad at 127.0.0.1:17000
# -----------------

# Step 3
# Node A收到Node B回复的message2（PONG）
3383:M 22 Nov 2022 15:02:45.099 . --- Processing packet of type pong, 2256 bytes
3383:M 22 Nov 2022 15:02:45.099 . pong packet received: fe4d416c13a24d5dc03a6fff25181d3ae15f95ad
# 根据message2里面Node B的真实ID，更新实体B
3383:M 22 Nov 2022 15:02:45.099 . Renaming node fe4d416c13a24d5dc03a6fff25181d3ae15f95ad into 737418730813700da2f51ddeb8bdc8e3fd2a7805
# 在Node A看来，跟Node B的handshake过程结束
3383:M 22 Nov 2022 15:02:45.099 . Handshake with node 737418730813700da2f51ddeb8bdc8e3fd2a7805 completed.
# -----------------

# Step 5
# Node A收到Node B发送来的message3（PING）
3383:M 22 Nov 2022 15:02:45.201 - Accepting cluster node connection from 127.0.0.1:56990
3383:M 22 Nov 2022 15:02:45.201 . --- Processing packet of type ping, 2256 bytes
# Node A 修正自己的IP
3383:M 22 Nov 2022 15:02:45.201 # IP address for this node updated to 127.0.0.1
# Node A根据message3，做一系列操作，包括更新实体B中的slots
3383:M 22 Nov 2022 15:02:45.201 . ping packet received: 737418730813700da2f51ddeb8bdc8e3fd2a7805
# Node A回复message4给Node B（日志没显示）
# -----------------

# Step 8
# Node A再次收到Node B发送来的PING
3383:M 22 Nov 2022 15:02:45.303 . --- Processing packet of type ping, 2256 bytes
3383:M 22 Nov 2022 15:02:45.303 . ping packet received: 737418730813700da2f51ddeb8bdc8e3fd2a7805
# Node A回复PONG给Node B（日志没显示）
# -----------------
Node B的日志
# Step 2
# Node B收到NodeA发送来的message1
3372:M 22 Nov 2022 15:02:45.099 - Accepting cluster node connection from 127.0.0.1:44968
3372:M 22 Nov 2022 15:02:45.099 . --- Processing packet of type meet, 2256 bytes
# Node B修正自己的IP
3372:M 22 Nov 2022 15:02:45.099 # IP address for this node updated to 127.0.0.1
# 因为message1中Node A的ID在Node B的cluster节点字典中不存在对应的实体，所以received打印的是NULL
3372:M 22 Nov 2022 15:02:45.099 . meet packet received: NULL
# Node B回复message2给Node A（日志没显示）
# -----------------

# Step 4
# Node B在clusterCron时向NodeA发送message3（PING）
3372:M 22 Nov 2022 15:02:45.201 . Connecting with Node ba747dfdcd40d974294054f1d7ca023678ff9874 at 127.0.0.1:16000
# -----------------

# Step 6
# Node B收到Node A回复的message4（PONG）
3372:M 22 Nov 2022 15:02:45.204 . --- Processing packet of type pong, 2256 bytes
3372:M 22 Nov 2022 15:02:45.204 . pong packet received: ba747dfdcd40d974294054f1d7ca023678ff9874
# Node B根据message4中Node A的真实ID，更新实体A
3372:M 22 Nov 2022 15:02:45.204 . Renaming node ba747dfdcd40d974294054f1d7ca023678ff9874 into ea017e0f83612b1b32179b4277becba349db5590
# 在Node B看来，跟Node A的handshake过程结束
3372:M 22 Nov 2022 15:02:45.204 . Handshake with node ea017e0f83612b1b32179b4277becba349db5590 completed.
# -----------------

# Step 7
# Node B在clusterCron时再次向Node A发送PING消息
3372:M 22 Nov 2022 15:02:45.303 . Pinging node ea017e0f83612b1b32179b4277becba349db5590
# -----------------

# Step 9
# Node B收到Node A回复的PONG
3372:M 22 Nov 2022 15:02:45.303 . --- Processing packet of type pong, 2256 bytes
# Node B根据PONG，做一系列操作，包括更新实体A中的slots
3372:M 22 Nov 2022 15:02:45.303 . pong packet received: ea017e0f83612b1b32179b4277becba349db5590
懒惰的劳模
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
codis/redis 迁移redis cluster工具
08-18
Codis到Redis Cluster的迁移工具支持将已经在Codis集群中的数据平滑迁移到Redis Cluster，无需停机，保证业务的连续性。同样，它也支持从Redis迁移到Codis，以及在Redis实例之间进行迁移，这些功能使得数据管理更具...
redis-cluster-operator:Redis Cluster Operator在Kubernetes上创建和管理Redis集群
05-03
redis-cluster-operator 概述 Redis Cluster Operator在Kubernetes上管理 。 操作员本身是用。 每个主节点及其从节点都由statefulSet管理，为每个statefulSet创建一个无头svc，并为所有节点创建clusterIP服务。 ...
Redis Cluster Gossip Protocol: PING, PONG, MEET
helowken2的博客
10-04 332
第1 ~ 3步是涵盖所有类型的消息。
Redis Cluster Gossip Protocol: 目录
helowken2的博客
10-04 621
cluster：每个节点的内存中都有一个集群信息结构，里面包含了集群中各个节点的状态信息（包括server自己）link：节点间通信时使用的连接。myself：当前节点在cluster中的实体。node：cluster节点字典中的实体。server：当前的节点。
Redis Cluster Gossip Protocol: FAIL, UPDATE
helowken2的博客
10-04 270
第1 ~ 3步是涵盖所有类型的消息，详细请参考PING/PONG/MEET。第1 ~ 3步是涵盖所有类型的消息，详细请参考PING/PONG/MEET。
Redis Cluster Gossip Protocol: Message
helowken2的博客
10-04 303
Signature: “RCmb” 这4个字符（Redis Cluster message bus 的简称）totalLen: 消息的总字节数version：当前为1port: TCP 端口type: 消息类型0：PING1：PONG2：MEET3：FAIL4：PUB/SUB 传递7：UPDATE8：MFSTART9：MODULE10：PUB/SUB Publish Shard 传递count：gossip条目数量（对PING/PONG等有效）
一万字详解 Redis Cluster Gossip 协议
taylor的专栏
12-03 1万+
大家好，我是历小冰，今天来讲一下 Reids Cluster 的 Gossip 协议和集群操作，文章的思维导图如下所示。 集群模式和 Gossip 简介 对于数据存储领域，当数据量或者请求流量大到一定程度后，就必然会引入分布式。比如 Redis，虽然其单机性能十分优秀，但是因为下列原因时，也不得不引入集群。 单机无法保证高可用，需要引入多实例来提供高可用性 单机能够提供高达 8W 左右的QPS，再高的QPS则需要引入多实例 单机能够支持的数据量有限，处理更多的数据需要引入多实例； 单机所处理的网络流量已
Redis Cluster Gossip 协议详解
yizhiniu_xuyw的专栏
03-16 629
Redis Cluster Gossip 协议 大家好，我是历小冰，今天来讲一下 Reids Cluster 的 Gossip 协议和集群操作，文章的思维导图如下所示。 集群模式和 Gossip 简介 对于数据存储领域，当数据量或者请求流量大到一定程度后，就必然会引入分布式。比如 Redis，虽然其单机性能十分优秀，但是因为下列原因时，也不得不引入集群。 单机无法保证高可用，需要引入多实例来提供高可用性 单机能够提供高达 8W 左右的QPS，再高的QPS则需要引入多实例 单机能够支持的数据量
浅谈集群版Redis和Gossip协议
最新发布
2301_82242204的博客
04-22 830
阿里伤透我心，疯狂复习刷题，终于喜提offer 哈哈~好啦，不闲扯了1、JAVA面试核心知识整理（PDF）：包含JVMJAVA集合JAVA多线程并发，JAVA基础，Spring原理微服务，Netty与RPC，网络，日志，ZookeeperKafkaRabbitMQ，Hbase，MongoDB设计模式负载均衡数据库一致性哈希JAVA算法数据结构，加密算法，分布式缓存，Hadoop，Spark，Storm，YARN，机器学习，云计算共30个章节。2、Redis学习笔记及学习思维脑图。
Life in a Redis Cluster: Meet and Gossip with your neighbors
jiangbb8686的博客
02-28 200
Redis Cluster is going to change your view of Redis. Since release 3.0.0, Redis is able to operate in Cluster mode, providing automatic data sharding across multiple nodes with a high degree of fault...
Redis Cluster Gossip协议
小魚兒
03-23 198
集群模式和 Gossip 简介 对于数据存储领域，当数据量或者请求流量大到一定程度后，就必然会引入分布式。比如 Redis，虽然其单机性能十分优秀，但是因为下列原因时，也不得不引入集群。 单机无法保证高可用，需要引入多实例来提供高可用性 单机能够提供高达 8W 左右的QPS，再高的QPS则需要引入多实例 单机能够支持的数据量有限，处理更多的数据需要引入多实例； 单机所处理的网络流量已经超过服务器的网卡的上限值，需要引入多实例来分流。 有集群，集群往往需要维护一定的元数据，比如实例的...
浅析redis cluster介绍与gossip协议
09-08
总的来说，Redis Cluster通过Gossip协议实现了高效、可靠的分布式节点通信，有效地支持了大规模数据的存储和处理，同时提供了容错和扩展性。了解和掌握这些原理对于正确使用和优化Redis Cluster系统至关重要。
docker-redis-cluster:一个 Redis 集群 Docker 镜像
05-29
docker-redis-cluster Redis 集群 Docker 映像。 此图像用于测试环境。 请勿将其用于生产。用法启动集群。 它将启动 6 个 Redis 服务器，监听7000~7005端口和一个主管以确保所有服务器都启动。 在所有服务器启动后，...
redis-cluster-proxy:Redis集群的代理
05-04
Redis集群代理 Redis的集群代理适用代理集群。 Redis可以在集群模式下运行，在该模式下，一组Redis实例将负责故障转移和分区。 这种特殊模式需要使用了解群集协议的特殊客户端：通过使用此代理，可以将群集抽象化，...
一个有点古怪的问题：Redisson无法连接redis
热门推荐
helowken2的博客
12-14 6万+
问题：使用redisson连接redis时出现如下错误 org.redisson.client.RedisConnectionException: Unable to connect to Redis server: localhost/127.0.0.1:6379 at org.redisson.connection.pool.ConnectionPool$2$1.operationCompl...
解决Redisson无法连接Sentinel, Netty查找DNS失败
helowken2的博客
11-04 2万+
1. org.redisson.client.RedisConnectionException: At least two sentinels should be defined in Redis configuration! SENTINEL SENTINELS command returns empty result! 2. Redisson 查找 sentinel 失败 3. Netty 查找 DNS 失败
Redisson-3.8 查找DNS异常的解决办法
helowken2的博客
11-21 1万+
环境 (ubuntu) redis sentinel的链接url为 sentinel://redis:26379,redis:26380?masterNames=mymaster&poolSize=100&poolName=xxx /etc/resolv.conf的内容如下： nameserver 127.0.0.1 search aaa.bbb ostechnix....
Redisson sentinel模式下"is not active"问题的分析与解决
helowken2的博客
08-19 1万+
1. Redisson Sentinel 详解 2. is not active 问题分析与解决
Redis Cluster深度解析：机制、特性和性能
8. **无中心协调**：Redis Cluster没有中央master节点来协调集群状态，而是依赖节点之间的Gossip协议交换信息，确保所有节点对集群状态达成一致。 总结来说，Redis Cluster通过分布式架构、数据分片、异步复制和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值