unit64_t configEpoch;
//节点的ip地址
char ip[REDIS_IP_STR_LEN];
//节点的端口号
int port;
//保存连接节点所需的有关信息(TCP建链连接)
clusterLink *link;
//…
)
前面提到过,ClusterNode结构之外,还有一个ClusterLink结构,从ClusterNode结构里面的属性看到,ClusterLink结构是被用在ClusterNode里面的,并用来保存连接节点所需的有关信息,比如套接字描述符,输入缓冲区和输出缓冲区
typedef struct clusterLink(
//连接的创建时间
mstime_t ctime;
//TCP套接字描述符(记录节点连接当前节点使用的套接字)
int fd;
//输出缓冲区(保存着等待发送给其他节点的消息)
sds sndbuf
//输入缓冲区(保存着从其他节点接收到的信息)
sds rcvbuf;
//与这个连接相关联的节点,如果没有的话就为NULL(也就是引用clusterLink的节点)
//相当于形成了一个互通
struct clusterNode *node;
)clusterLink
拓展
RedisClient结构与ClusterLink结构的相同与不同之处
相同之处在于,两者都有记录自己的套接字描述符和输入输出缓冲区
不同之处在于,RedisClient的套接字和缓冲区是用来连接客户端的(服务器根据这些去得到请求客户端的信息,通过输入缓冲区和输出缓冲区进行命令提取和回复),而ClusterLink是用来连接节点的(当前节点通过这个节点的ClusterNode里面的ClusterLink里面的信息进行连接,获取发来的消息或者发送回复)
最后,每一个节点都保存着一个ClusterState结构(上面提到的ClusterNode都是保存在ClusterState俩面的),该结构记录了在当前节点的视角下,集群目前所处的状态,例如集群是下线的还是上线,集群包含多少个节点,集群当前的配置纪元
typedef struct clusterState(
//指向当前节点的指针
clusterNode *myself;
//集群当前的配置纪元,用来实现故障转移的
uinit64_t currentEpoch;
//集群当前的状态,下线还是上线
int state;
//集群中处理槽的节点的数量
int size;
//集群节点名单(包括Myself)
//使用字典保存,键为节点的名字,值为节点对应的clusterNode结构
dict *nodes;
//…
)clusterState;
总结起来,集群数据结构大概如下所示
每个节点都有ClusterState去保存自己和其他集群节点的状态(ClusterNode),在ClusterNode中又保存着节点之间的连接信息(当前节点与保存的节点)
经过上面的学习,已经知道集群的数据结构是怎样的,下面就看看Cluster Meet命令是怎么实现的
CLUSTER MEET命令的作用是,执行Cluster命令的A节点会将命令中指定的B节点给添加到A节点的集群中去,跟邀请别人进群差不多。
CLUSTER MEET
节点A会先跟B进行握手,以此来确认彼此的存在,并未将来的进一步通信打好基础,下面就来看看握手的过程
-
节点A先为节点B创建一个ClusterNode结构,并将该结构添加到自己的ClusterState.nodes字典里面(现在还不知道节点B的名字,会以一个随机字符串来当节点B的名字,而且flags属性为REDIS_NODE_HANDSHAKE|REDIS_NODE_MEET状态,表明正在握手处理中而且等待MEET信息发送处理)
-
节点A根据命令里面给出的IP地址和PORT端口号,建立TCP连接,向节点B发送一条Meet信息(Meet信息是确认节点B是否存在,最后将REDIS_NODE_MEET标志清除,表明Meet信息已经发送了)
-
节点B顺利接收到节点A发送的Meet信息的话,节点B就会为节点A创建一个ClusterNode结构,并将该结构添加到自己的ClusterState.nodes字典里面**(MEET信息里面有节点A的port和ip地址,节点B根据这些信息去创建ClusterNode对象,但此时flag标志还是初始化为REDIS_NODE_HANDSHAKE,注意此时节点B也还是不知道节点A的名字)**
-
节点B添加完成之后,节点B会返回一条PONG信息(PONG信息里面还有节点B的名字)给节点A
-
节点A收到节点B返回的PONG信息,根据PONG信息可以知道节点B是从节点还是主节点,还有节点B的名字,根据这些信息去修改节点A的ClusterState.nodes字典里面的ClusterNode信息**(清除原来的REDIS_NODE_HANDSHAKE标记,然后根据主从信息,设置为REDIS_NODE_MASTER或者REDIS_NODE_SLAVE,然后将节点B的名字进行更新)**
-
节点A确认收到PONG信息之后,会返回一条PING信息给节点B
-
经过此步节点A与节点B就握手完成了
连接细节拓展
前面提到过,ServerCron函数会执行ClusterCron函数(定时执行任务)
在ClusterCron函数会轮询当前节点的ClusterStat结构里面的nodes字典的每一个节点(ClusterNode结构),ClusterNode里面的ClusterLink为空(代表没连接)就表示尚未向该节点建立连接。
节点A新创建节点B的ClusterNode对象(此时ClusterNode的CluserLink为空,因为还没有进行连接),会被ServerCron函数给扫描到,然后进行TCP建链连接。
步骤如下
-
调用anetTcpNonBlockBindConnect函数,开始向节点B发起非阻塞的TCP连接
-
调用createClusterLink,创建ClusterLink结构
-
给套接字绑定可读事件(回看客户端连接),绑定ClusterReadHandler处理器
-
ClusterReadHandle会判断ClusterNode的flag标识,判断发送MEET包、PONG包还是PING包
-
如果发送成功,证明连接成功,如果发送失败,证明发送失败,直接释放该连接
-
此时节点B收到发来的包,也会触发可读事件,交给ClusterReadHandler处理器去处理
-
调用clusterProcessPacket函数处理该包,以发送者的名字去看看自己的ClusterStat里面的nodes中是否有对应的ClusterNode,如果没有,而且为MEET包,那么就代表是新的连接,为其创建一个ClustserNode对象,并且绑定上对应的ip和port,flag标志改为REDIS_NODE_SHAKEHAND,然后插入到nodes字典中**(这一步节点B是以NULL参数去设置节点A的ClusterNode结构的name属性的,只有在后续B与A握手,A发送PONG包,才会得到A的名字然后进行修改)**
到此连接就完成了,下面就是节点B发送PONG包了
要注意的是,A与B握手,B也要与A握手,A在建立TCP连接时候,节点B根据MEET信息新建了ClusterNode对象,也会被自己的ClusterCron函数扫描到,然后建立TCP连接,然后也是一样的握手过程
之后,节点A会将节点B的信息通过Gossip协议传播给集群中的其他节点,让其他节点也与节点B进行握手,最终,经过一段时间之后,节点B会被集群中的所有结点认识。