Redis源码解析：26集群(二)键的分配与迁移

最新推荐文章于 2024-04-27 14:15:46 发布
最新推荐文章于 2024-04-27 14:15:46 发布
阅读量3.5k 收藏 3
点赞数 1
分类专栏： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gqtcgq/article/details/51757755
版权
本文深入探讨了Redis集群中键的分配和迁移过程。集群通过哈希函数将键映射到16384个槽位，每个节点负责一部分。键的分配和迁移涉及到数据结构如slots数组、migrating_slots_to和importing_slots_from等。键的迁移分为手动分配和节点间迁移两个阶段，通过`CLUSTER`命令实现。集群在槽位迁移时，使用`redis-trib.rb`辅助脚本和`MIGRATE`命令，确保数据一致性。整个过程中，节点会通过心跳包交换槽位信息，保证集群状态的同步。
摘要由CSDN通过智能技术生成

         Redis集群通过分片的方式来保存数据库中的键值对：一个集群中，每个键都通过哈希函数映射到一个槽位，整个集群共分16384个槽位，集群中每个主节点负责其中的一部分槽位。

         当数据库中的16384个槽位都有节点在处理时，集群处于上线状态；相反，如果数据库中有任何一个槽没有得到处理，那么集群处于下线状态。

         所谓键的分配，实际上就是指槽位在集群节点中的分配；所谓键的迁移，实际上指槽位在集群节点间的迁移。

 

一：数据结构   

         在集群最主要的数据结构，记录集群状态的clusterState结构体中，与槽位相关的属性有：

clusterNode *slots[16384];
clusterNode *migrating_slots_to[16384];
clusterNode *importing_slots_from[16384];
zskiplist *slots_to_keys;

         slots数组记录了16384个槽位，分别由哪个集群节点负责：比如server->cluster.slots[0] = node，这说明0号槽位由node节点负责；

         migrating_slots_to数组记录了16384个槽位中，当前节点所负责的槽位正在迁出到哪个节点。比如server.cluster->migrating_slots_to[0] = node，这说明当前节点负责的0号槽位，正在迁出到node节点；

         importing_slots_from数组记录了16384个槽位中，当前节点正在从哪个节点将某个槽位迁入到本节点中；比如server.cluster->importing_slots_from[0] = node，这说明当前节点正在从node节点处迁入0号槽位；

         通过以上这些属性，可以快速得到某个槽位由哪个节点负责，以及该槽位正在迁出或迁入到哪个节点。

         slots_to_keys是个跳跃表，该跳跃表中，以槽位号为分数进行排序。每个跳跃表节点保存了槽位号(分数)，以及该槽位上的某个key。通过该跳跃表，可以快速得到当前节点所负责的每一个槽位中，都有哪些key。

 

         在表示集群节点的clusterNode结构体中，与槽位相关的属性有：

unsigned char slots[16384/8];
int numslots;

         slots记录了节点负责处理哪些槽位。它是个位数组，其中每一个比特位表示一个槽位号，如果该比特位置为1，则说明该槽位由该节点负责；

         numslots表示该节点负责的槽位总数；

         通过以上这些属性，可以快速得到某个节点负责哪些槽位。

 

二：分配槽位

         在集群刚建立时，需要手动为每个集群主节点分配其负责的槽位。这主要是通过向节点发送”CLUSTER  ADDSLOTS”命令实现的。该命令的格式是：”CLUSTER  ADDSLOTS  <slot>  [slot]  ...”。

         “CLUSTER”命令的处理函数是clusterCommand。在该函数中，处理” CLUSTER ADDSLOTS”部分的代码是：

else if ((!strcasecmp(c->argv[1]->ptr,"addslots") ||
               !strcasecmp(c->argv[1]->ptr,"delslots")) && c->argc >= 3)
    {
        /* CLUSTER ADDSLOTS <slot> [slot] ... */
        /* CLUSTER DELSLOTS <slot> [slot] ... */
        int j, slot;
        unsigned char *slots = zmalloc(REDIS_CLUSTER_SLOTS);
        int del = !strcasecmp(c->argv[1]->ptr,"delslots");

        memset(slots,0,REDIS_CLUSTER_SLOTS);
        /* Check that all the arguments are parseable and that all the
         * slots are not already busy. */
        for (j = 2; j < c->argc; j++) {
            if ((slot = getSlotOrReply(c,c->argv[j])) == -1) {
                zfree(slots);
                return;
            }
            if (del && server.cluster->slots[slot] == NULL) {
                addReplyErrorFormat(c,"Slot %d is already unassigned", slot);
                zfree(slots);
                return;
            } else if (!del && server.cluster->slots[slot]) {
                addReplyErrorFormat(c,"Slot %d is already busy", slot);
                zfree(slots);
                return;
            }
            if (slots[slot]++ == 1) {
                addReplyErrorFormat(c,"Slot %d specified multiple times",
                    (int)slot);
                zfree(slots);
                return;
            }
        }
        for (j = 0; j < REDIS_CLUSTER_SLOTS; j++) {
            if (slots[j]) {
                int retval;

                /* If this slot was set as importing we can clear this
                 * state as now we are the real owner of the slot. */
                if (server.cluster->importing_slots_from[j])
                    server.cluster->importing_slots_from[j] = NULL;

                retval = del ? clusterDelSlot(j) :
                               clusterAddSlot(myself,j);
                redisAssertWithInfo(c,NULL,retval == REDIS_OK);
            }
        }
        zfree(slots);
        clusterDoBeforeSleep(CLUSTER_TODO_UPDATE_STATE|CLUSTER_TODO_SAVE_CONFIG);
        addReply(c,shared.ok);
    }

         这里” CLUSTER  ADDSLOTS”和” CLUSTER  DELSLOTS”命令，采用类似的代码进行处理。ADDSLOTS和DELSLOTS，分别用于将槽位分配给节点，以及将槽位从节点中删除。ADDSLOTS命令常用于新建集群时，给每个主节点分配槽位；DELSLOTS常用于手动修改集群配置，或者用于DEBUG操作，实际中很少用到。

 

         在代码中，首先，依次检查命令参数中的槽位号：如果是DELSLOTS操作，但是数组server.cluster->slots中，记录负责该槽位号的节点为NULL，则反馈给客户端"unassigned"错误；如果是ADDSLOTS操作，但是数组server.cluster->slots中，记录已经有节点负责该槽位号了，则反馈给客户端"busy"错误；然后将参数中的槽位号记录到数组slots中，如果slots中该槽位已经设置过了，说明发来的命令中，该槽位号出现了多次，因此反馈给客户端"multiple times"错误；

         然后，依次轮训slots中记录的每一个槽位号进行处理：首先如果该槽位号在数组server.cluster->importing_slots_from中不为NULL，则将其置为NULL，因为该槽位已经由本节点负责了；然后根据是ADDSLOTS，还是DELSLOTS操作，调用clusterAddSlot或clusterDelSlot处理；

         最后，反馈给客户端"OK";

 

         因此，clusterAddSlot才是是实际用于分配槽位的函数，该函数的实现如下：

int clusterAddSlot(clusterNode *n, int slot) {
    if (server.cluster->slots[slot]) return REDIS_ERR;
    clusterNodeSetSlotBit(n,slot);
    server.cluster->slots[slot] = n;
    return REDIS_OK;
}

         该函数的实现很简单，就是要设置位数组n->slots中的相应位，以及server.cluster->slots[slot]。

         首先，根据server.cluster->slots[slot]的值，判断该槽位是否已经分配给其他节点了，若是，则直接返回REDIS_ERR；

         然后调用clusterNodeSetSlotBit，在位数组n->slots中设置相应的位；

         最后，将server.cluster->slots[slot]置为n；

         以上，就相当于把slot槽位分配给了节点n。

 

         顺便看一下删除槽位的函数clusterDelSlot的实现：

int clusterDelSlot(int slot) {
    clusterNode *n = server.cluster->slots[slot];

    if (!n) return REDIS_ERR;
    redisAssert(clusterNodeClearSlotBit(n,slot) == 1);
    server.cluster->slots[slot] = NULL;
    return REDIS_OK;
}

         该函数清除slot槽位的信息，将其置为未分配的。成功返回REDIS_OK；否则若该槽位已经被置为未分配的了，则返回REDIS_ERR；

         该函数的实现很简单，就是清除位数组n->slots中的相应位，以及将server.cluster->slots[slot]置为NULL。

         首先从server.cluster->slots[slot]取得当前负责该槽位的节点n；如果n为NULL，则返回REDIS_ERR；

         然后调用clusterNodeClearSlotBit，将该槽位从位数组n->slots中清除；

         最后置server.cluster->slots[slot]为NULL；

         以上，就相当于把slot槽位置为未分配状态了。


         集群节点在发送心跳包时，会附带自己当前记录的槽位信息（clusterNode结构中的位数组slots），这样，最终集群中的每个节点都会知道所有槽位的分配情况。


三：槽位迁移(重新分片)

         在集群稳定一段时间之后，如果有新的集群节点加入，或者某个集群节点下线了。此时就涉及到将某个节点上的槽位迁移到另一个节点上的问题。

         该过程也是需要手动完成的，Redis提供了辅助脚本redis-trib.rb，以”reshard”参数调用该脚本就可以实现重新分片的操作。但是本质上，该脚本就是通过向迁入节点和迁出节点发送一些命令实现的。

         槽位迁移的步骤是：

 

1：向迁入节点发送” CLUSTER  SETSLOT  <slot>  IMPORTING  <node>”命令

         其中<slot>是要迁入的槽位号，<node>是当前负责该槽位的节点。在函数clusterCommand中，处理该命令的代码如下：

    else if (!strcasecmp(c->argv[1]->ptr,"setslot") && c->argc >= 4) {
        /* SETSLOT 10 MIGRATING <node ID> */
        /* SETSLOT 10 IMPORTING <node ID> */
        /* SETSLOT 10 STABLE */
        /* SETSLOT 10 NODE <node ID> */
        int slot;
        clusterNode *n;

        if ((slot = getSlotOrReply(c,c->argv[2])) == -1) return;

        if (!strcasecmp(c->argv[3]->ptr,"migrating") && c->argc == 5) {
            ...
        } else if (!strcasecmp(c->argv[3]->ptr,"importing") && c->argc == 5) {
            if (server.cluster->slots[slot] == myself) {
                addReplyErrorFormat(c,
                    "I'm already the owner of hash slot %u",slot);
                return;
            }
            if ((n = clusterLookupNode(c->argv[4]->ptr)) == NULL) {
                addReplyErrorFormat(c,"I don't know about node %s",
                    (char*)c->argv[3]->ptr);
                return;
            }
            server.cluster->importing_slots_from[slot] = n;
        } else if (!strcasecmp(c->argv[3]->ptr,"stable") && c->argc == 4) {
            ...
        } else if (!strcasecmp(c->argv[3]->ptr,"node") && c->argc == 5) {
            ...
        } else {
            addReplyError(c,
                "Invalid CLUSTER SETSLOT action or number of arguments");
            return;
        }
        clusterDoBeforeSleep(CLUSTER_TODO_SAVE_CONFIG|CLUSTER_TODO_UPDATE_STATE);
        addReply(c,shared.ok);
    }

         针对"CLUSTER SETSLOT"命令，首先从命令参数中取得槽位号slot，如果解析错误，则回复给客户端错误信息，然后直接返回；

         如果收到的是" CLUSTER  SETSLOT <SLOT>  IMPORTING  <node>"命令，说明本节点需要迁入槽位。

最低0.47元/天 解锁文章
gqtcgq
关注
专栏目录
来聊聊redis集群数据迁移
Hi，我是sharkchili，CSDN Java领域博客专家，开源项目JavaGuide维护人员，我想写一些有意思的东西，希望对你有帮助。
07-23 1079
redis集群提供16384个slot，我们可以按需分配给节点上，后续进行键值对存储时，我们就可以按照算法将键值对存到对应slot上的redis服务器上：集群节点本质就是通过slots这个数组记录当前节点的所管理的情况，这里我们可以看到slots是一个char数组，长度为char占1个字节，每个字节8位。每个char可以记录8个slot的情况，如果是自己的slot则对应char的某一个位置记录为1：我们以node-1。
Redis源码解析：27集群(三)主从复制、故障转移
weixin_30468137的博客
07-05 247
一：主从复制 在集群中，为了保证集群的健壮性，通常设置一部分集群节点为主节点，另一部分集群节点为这些主节点的从节点。一般情况下，需要保证每个主节点至少有一个从节点。 集群初始化时，每个集群节点都是以独立的主节点角色而存在的，通过向集群节点发送”CLUSTER MEET <ip><port>”命令，可以使集群节点间相互认识。...
Redis Cluster 源码分析
hl_java的专栏
05-02 2552
作者介绍 姓名：李航 工作经历：   5年多互联网工作经验，先后在58同城，汽车之家，优酷土豆集团工作。目前主要在优酷土豆集团任职高级开发工程师，目前主要负责大数据基础平台Redis集群开发及运维等工作。主要关注领域Nginx，Redis，分布式系统，分布式存储。本文来源自“Redis技术交流群”线上分享。李航ID：Lucien_168。群主ID：gnuhpc。后期的分享我们会同期进行。
redis的原理和源码-集群的原理和源码解析(上)
迷雾总会解
08-07 470
在redis节点发送心跳包时需要把所有的槽放到这个心跳包里，以便让节点知道当前集群信息，16384=16k，在发送心跳包时使用char进行bitmap压缩后是2kb（16384÷8÷1024=2kb），也就是说使用2k的空间创建了16k的槽数，65535=65k，压缩后就是8kb（65536÷8÷1024=8kb），也就是说需要8k的心跳包。...
Redis 源码解析 - Redis 集群伸缩原理源码剖析
最新发布
qq_33240556的博客
04-27 213
在整个过程中，Redis 集群使用了 Gossip 协议来传播配置变化信息，确保所有节点都能及时了解到集群拓扑的变化。此外，为了保证数据安全，Redis 集群在进行迁移操作时采用的是异步复制的方式，即先在新节点上创建从节点，再进行槽位迁移，最后完成主从切换，以降低因网络故障造成的数据丢失风险。注意，实际的源码分析应以具体的 Redis 版本为准，因为随着版本的迭代，相关实现细节可能会有所变化。上述描述是一种简化后的解释，实际操作中还有更多的错误处理和状态验证逻辑。
Redis源码解析:集群手动故障转移、从节点迁移详解
12-15
Redis源码解析：集群手动故障转移、从节点迁移详解 Redis 集群提供了一种手动故障转移机制，允许在主节点未完全下线时，通过向从节点发送 `CLUSTER FAILOVER` 命令触发故障转移流程，从而实现从节点升级为主节点，...
Redis源码解析：28集群(四)手动故障转移、从节点迁移
程序员的自我修养
07-05 6867
一：手动故障转移          Redis集群支持手动故障转移。也就是向从节点发送”CLUSTER  FAILOVER”命令，使其在主节点未下线的情况下，发起故障转移流程，升级为新的主节点，而原来的主节点降级为从节点。          为了不丢失数据，向从节点发送”CLUSTER  FAILOVER”命令后，流程如下：          a：从节点收到命令后，向主节点发送CLUSTER
Redis集群分析（37）
qq_39210987的博客
02-21 148
1、 hash槽 在（36）中介绍了cluster模式和其配置方法，在配置的时候有一个专门的脚本用来设置服务器的hash槽。如果想要单独为某个节点设置hash槽，可以使用cluste命令。该命令的使用详情如下： 如上图，在redis的客户端中使用help @cluster命令可以查看cluster的使用详情。这里我们以CLUSTER ADDSLOTS命令和CLUSTER DELSLOTS命令为例，介绍cluster模式下的hash槽。 如上图所示CLUSTER ADDSLOTS命令是向服务器添加槽位，CL
Redis的slot迁移
一见
08-11 1026
官方参考：https://redis.io/commands/cluster-setslot。示例：将值为8的slot从源节点A迁移到目标节点B。 1)在目标节点B上执行，从节点A导入slot到节点B： CLUSTER SETSLOT 8 IMPORTING src-A-node-id 对于迁移的slot，正常访问返回MOVED；但如果在正常访问之前先执行ASKING，则能正常处理该slot。 2)在源节点A上执行，将节点A上的slot迁移到节点B CLUSTER SETSLO
redis数据迁移
大帅的博客
11-14 3160
redis数据迁移有三种方式： 因为migrate操作流程简单且操作具有原子性，因此redis数据的迁移一般采用这种方式 语法： migrate IP 端口 待迁移的键 redis库的索引 迁移的超时时间 [copy] [replace] 可选参数：copy --- 迁移完成后源redis库中会保留该键； replace --- 如果目标redis库中存在与待迁移的键相同的键，
redis集群搭建与管理
weixin_30725467的博客
05-17 77
集群简介： Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）。 Redis 集群不支持那些需要同时处理多个键的 Redis 命令， 因为执行这些命令需要在多个 Redis 节点之间移动数据， 并且在高负载的情况下， 这些命令将降低 Redis 集群的性能， 并导致不可预测的行为。 Redis 集群通过分区（partition）来提供一定程度...
搭建Redis集群与哨兵模式的参考博文与常见错误
广工最菜的琛
05-21 987
最近进行了Redis集群的学习和配置，可以参考了以下博客： 主线 Redis集群的原理和搭建 redis5.0后放弃了Ruby的集群方式，大大简化了集群的构建复杂度 redis5.0集群(用3台虚拟机模拟3主3备)（未尝试） Redis容灾部署哨兵(sentinel)机制配置详解及原理介绍（配置） Redis哨兵模式（sentinel）学习总结及部署记录（主从复制、读写分离、主从切换）（深入原...
2. Redis 3.0.5 集群的命令、使用、维护
domorejojo
12-23 5560
前言上一篇中，对redis cluster的有了较为深入的实践，并且一整套都实践了，redis cluster 确实挺好用，随着版本的更新，它会越来越成熟和稳定，一定是未来的方向。这一篇对后续的一些尾巴来学习下，包括 CLUSTER * 一系列命令，以及容灾性的数据迁移，以及在php的使用。cluster命令redis 有很多命令，同意，加入到cluster后，也有一些列的命令，现在一一来看下 (h
mysql+xf01x,[613]redis数据迁移
weixin_39740283的博客
03-23 91
键迁移有时候我们想将一个redis的数据迁移到另一个redis中，redis提供了三种方式来满足数据迁移的需求，分别是move、dump+restore、migratemove key dbRedis支持多数据库，多数据库之间彼此在数据上是隔离的。move key db就是把指定的键从源数据库迁移到目标数据库中。由于多数据库在生产环境中不建议使用，所以此命令很少使用到。192.168.8.52:6...
Redis源码剖析和注释（二十六）--- Redis 集群伸缩原理源码剖析
men_wen的博客
06-09 3814
Redis Cluster 集群伸缩原理源码剖析1. Redis 集群伸缩教程Redis提供了灵活的节点扩容和收缩方案。在不影响集群对外服务的情况下，可以为集群添加节点进行扩容也可以对下线节点进行缩容。如何进行Redis Cluster的伸缩，请参考 Redis Cluster 集群扩容与收缩 本篇教程。本文详细分别使用手动命令和redis-trib.rb工具来执行Redis集群的扩容和收缩操作。本
简单搭建redis集群（redis复制、哨兵、集群的实现（三 集群））
qq_35456400的博客
04-12 232
1.客户端分片与集群比较 客户端分片： 维护成本高 增加、移除节点较繁琐 集群： 有和单机实例同样的性能 网络分区后能够提供一定的可访问性 主数据库故障分配的支持 2. 配置集群 新建一个myClusters文件夹,集群需要至少3个主数据库，所以要有6个节点，选取8000-8005端口，在myClusters文件夹新建这几个文件夹。 [root@localhost redis-5.0.0]...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值