redis的集群-redis系列教程

最新推荐文章于 2024-06-02 11:14:54 发布
最新推荐文章于 2024-06-02 11:14:54 发布
阅读量736 收藏 3
点赞数 1
文章标签： redis redis-入门简单 redis集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoxing598/article/details/74906241
版权

博客已经搬家https://tianmingxing.com

复制的问题

由于复制中每个数据库都是拥有完整的数据，因此复制的总数据存储量，受限于内存最小的数据库节点，如果数据量过大复制就无能为力了。

分片

分片（Partitioning）就是将你的数据拆分到多个Redis实例的过程，这样每个Redis实例只包含完整数据的一部分。

这里写图片描述

  • 常见的分片方式
  • 按照范围分片
  • 哈希分片，比如一致性哈希

常见的分片实现

  • 在客户端进行分片
  • 通过代理来进行分片，比如：Twemproxy
  • 查询路由
  • 发送查询到一个随机实例，这个实例会保证转发你的查询到正确的节点。
  • Redis集群在客户端的帮助下，实现了查询路由的一种混合形式，请求不是直接从Redis实例转发到另一个，而是客户端收到重定向到正确的节点。
  • 在服务器端进行分片
  • Redis采用哈希槽（hash slot）的方式在服务器端进行分片
  • Redis集群有16384个哈希槽，使用键的CRC16编码对16384取模来计算一个键所属的哈希槽。

分片的问题

  • 不支持涉及多键的操作，如mget。如果所操作的键都在同一个节点就正常执行，否则会提示错误。
  • 分片的粒度是键，因此每个键对应的值不要太大。
  • 数据备份会比较麻烦，备份数据时你需要聚合多个实例和主机的持久化文件
  • 扩容的处理比较麻烦。
  • 故障恢复的处理会比较麻烦，可能需要重新梳理Master和Slave的关系，并调整每个复制集里面的数据。

集群

这里写图片描述

由于数据量过大单个复制集难以承担，因此需要对多个复制集进行集群，形成水平扩展，每个复制集只负责存储整个数据集的一部分，这就是Redis的集群。

  • 在以前版本中Redis的集群是依靠客户端分片来完成，但是这会有很多缺点，比如维护成本高，需要客户端编码解决；增加、移出节点都比较繁琐等。
  • Redis3.0新增的一大特性就是支持集群，在不降低性能的情况下还提供了网络分区后的可访问性和支持对主数据库故障的恢复。
  • 使用集群后只能使用默认的0号数据库。
  • 每个Redis集群节点需要两个TCP连接打开，正常的TCP端口用来服务客户端，例如6379，加10000的端口用作数据端口，必须保证防火墙打开这两个端口。
  • Redis集群不保证强一致性，这意味着在特定的条件下Redis集群可能会丢掉一些被系统收到的写入请求命令。

集群架构

这里写图片描述

  • 所有的Redis节点彼此互联，内部使用二进制协议优化传输速度和带宽。
  • 节点的fail是通过集群中超过半数的节点检测失效时才生效。
  • 客户端与Redis节点直连，不需要中间proxy层。客户端不需要连接集群所有节点，只要连接集群中任何一个可用节点即可。
  • 集群把所有的物理节点映射到[0-16383]插槽上，集群负责维护 节点-插槽-值 的关系。

相关操作命令

  1. CLUSTER INFO 获取集群的信息
  2. CLUSTER NODES 获取集群当前已知的所有节点，以及这些节点的相关信息
  3. CLUSTER MEET <ip> <port> 将ip和port所指定的节点添加到集群当中
  4. CLUSTER FORGET <node_id> 从集群中移除 node_id 指定的节点
  5. CLUSTER REPLICATE <node_id> 将当前节点设置为 node_id 指定的节点的从节点
  6. CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面
  7. CLUSTER ADDSLOTS <slot> [slot ...] 将一个或多个槽分配给当前节点
  8. CLUSTER DELSLOTS <slot> [slot ...] 从当前节点移除一个或多个槽
  9. CLUSTER FLUSHSLOTS 移除分配给当前节点的所有槽
  10. CLUSTER SETSLOT <slot> NODE <node_id> 将槽分配给 node_id 指定的节点，如果槽已经分配给另一个节点，那么先让另一个节点删除该槽>，然后再进行分配
  11. CLUSTER SETSLOT <slot> MIGRATING <node_id> 将本节点的槽迁移到指定的节点中
  12. CLUSTER SETSLOT <slot> IMPORTING <node_id> 从指定节点导入槽到本节点
  13. CLUSTER SETSLOT <slot> STABLE 取消对槽的导入（import）或迁移（migrate）
  14. CLUSTER KEYSLOT <key> 计算键 key 应该被放置在哪个槽
  15. CLUSTER COUNTKEYSINSLOT <slot> 返回槽目前包含的键值对数量
  16. CLUSTER GETKEYSINSLOT <slot> <count> 返回 count 个槽中的键
  17. MIGRATE 目的节点ip 目的节点port 键名 数据库号码 超时时间 [copy] [replace] 迁移某个键值对

手动创建插槽

  • 准备6个实例来组成一个集群，你可以在同一台虚拟机上复制6份配置文件 redis.conf，通过里面的端口来进行区分，除端口外还有一些其它的配置也要改，具体可参考之前的文章。
  • 假设你准备了6个redis实例，端口范围从 6374 至 6379。
  • 保证没有之前文章中讲述的复制集的内容，如果有请恢复到原始状态。
[redis@bogon redis-3.2.9]$ ll redis*
-rw-rw-r--. 1 redis redis 46716 7月   4 15:38 redis6374.conf
-rw-rw-r--. 1 redis redis 46716 7月   4 15:39 redis6375.conf
-rw-rw-r--. 1 redis redis 46716 7月   4 15:41 redis6376.conf
-rw-rw-r--. 1 redis redis 46716 7月   4 15:41 redis6377.conf
-rw-rw-r--. 1 redis redis 46750 7月   4 15:41 redis6378.conf
-rw-rw-r--. 1 redis redis 46740 7月   4 15:42 redis6379.conf
  • 修改这6个配置文件的内容
cluster-enabled yes
cluster-config-file nodes-6374.conf

  • 请再一下检查这些值是否做了区分 pidfile port logfile dbfilename unixsocket（每份配置文件都不能完全相同，建议用端口来作区分）

  • 分别启动这些redis数据库 redis-server redis6374.conf，使用 redis-cli -p 6374 登录对应的实例并使用 info cluster 查看信息。

  • 使用 cluster meet 连接各个节点，这样可以把所有的数据库都放到一个集群中。

[redis@bogon redis-3.2.9]$ redis-cli -p 6374
127.0.0.1:6374> cluster nodes
052100ccbf0d912fc3f9ecbac63bfa7ff5256d96 127.0.0.1:6375 master - 0 1499156448710 1 connected
b537b00eed7a2271f52c4b9de3dce0a0b4b3c798 127.0.0.1:6379 slave 5ad7c308c8e9cb41f5c6d8f46b0f7a283a353826 0 1499156450747 4 connected
5ad7c308c8e9cb41f5c6d8f46b0f7a283a353826 127.0.0.1:6378 master - 0 1499156444637 4 connected 12706
5f5238a05fce1f2f75a9f487813c4b883d1c03ac 127.0.0.1:6376 master - 0 1499156451772 2 connected
af95d2c2bb83bb7c5a923655c472d9b3956a51b7 127.0.0.1:6377 slave 5ad7c308c8e9cb41f5c6d8f46b0f7a283a353826 0 1499156449726 4 connected
88d4c64307564d3d2d515db929e42e70647909d0 127.0.0.1:6374 myself,master - 0 0 3 connected
  • 使用 cluster replicate (节点编号) 设置部分数据库为slave，这个命令要在你计划它为从的实例上执行。我演示的是3主3从（6374->6375，6376->6377，6378->6379）
127.0.0.1:6375> cluster replicate 88d4c64307564d3d2d515db929e42e70647909d0
OK

至此手动创建集群已经结束。

什么是插槽

插槽是Redis对Key进行分片的单元。在Redis的集群实现中内置了数据自动分片机制，集群内部会将所有的key映射到 16384 个插槽中，集群中的每个数据库实例负责其中部分的插槽的读写。

键与插槽的关系

  • Redis会将key的有效部分使用 CRC16 算法计算出散列值，然后对 16384 取余数，从而把key分配到插槽中。
  • 键名的有效部分规则
  1. 如果键名包含 {} 那么有效部分就是 {} 中的值
  2. 否则就是取整个键名

移动已分配的插槽

  • 假设要迁移 10023 号插槽从 实例A 到 实例B
  1. 在B上执行 cluster setslot 10023 importing A
  2. 在A上执行 cluster setslot 10023 migrating B
  3. 在A上执行 cluster getkeysinslot 10023 要返回的数量
  4. 对上一步获取的每个键执行migrate命令将其从A迁移到B
  5. 在集群中每个服务器上执行 cluster setslot 10023 node B

防止在移动已分配插槽过程中键的临时丢失

上面迁移方案中的前两步就是用来避免在移动已分配插槽过程中，键的临
时丢失问题的，大致思路如下：

  1. 当前两步执行完成后，如果客户端向A请求插槽10023中的键时，如果键还未被转移，A将继续处理请求。
  2. 如果键已经转移则返回新的地址给客户端，由客户端发起新的请求以获取数据。

获取插槽对应的节点

  • 当客户端向某个数据库发起请求时，如果键不在这个数据库里面，将会返回一个move重定向的请求，里面包含新的地址，客户端收到这个信息后，需要重新发起请求到新的地址去获取数据。
  • 大部分的Redis客户端都会自动去重定向，也就是这个过程对开发人员是透明的。
  • redis-cli也支持自动重定向，只需要在启动时加入 -c 的参数。

故障判定

  1. 集群中每个节点都会定期向其他节点发出ping命令，如果没有收到回复，就认为该节点为疑似下线，然后在集群中传播该信息。
  2. 当集群中的某个节点，收到半数以上认为某节点已下线的信息，就会真的标记该节点为已下线，并在集群中传播该信息。
  3. 如果已下线的节点是master节点，那就意味着一部分插槽无法写入了。
  4. 如果集群任意master挂掉，且当前master没有slave，集群进入fail状态。
  5. 如果集群超过半数以上master挂掉，无论是否有slave，集群进入fail状态。
  6. 当集群不可用时，所有对集群的操作做都不可用，收到 CLUSTERDOWN The cluster is down 错误信息。

故障恢复

发现某个master下线后，集群会进行故障恢复操作，来将一个slave变成master（基于Raft算法），大致步骤如下：

  1. 某个slave向集群中每个节点发送请求，要求选举自己为master。
  2. 如果收到请求的节点没有选举过其他slave会同意
  3. 当集群中有超过节点数一半的节点同意该slave的请求，则该Slave选举成功。
  4. 如果有多个slave同时参选，可能会出现没有任何slave当选的情况，将会等待一个随机时间，再次发出选举请求。
  5. 选举成功后，slave会通过 slaveof no one 命令把自己变成master。如果故障后还想集群继续工作，可设置 cluster-require-full-coverage no。

对于集群故障恢复的说明

  1. master挂掉了重启还可以加入集群；但挂掉的slave重启，如果对应的master变化了是不能加入集群的，除非修改它们的配置文件将其master指向新master。
  2. 只要主从关系建立就会触发主和该从采用save方式持久化数据，不论你是否禁止save。
  3. 在集群中如果默认主从关系的主挂了并立即重启，如果主没有做持久化，数据会完全丢失，从而从的数据也被清空。

使用redis-trib.rb来操作集群

  • redis-trib.rb是Redis源码中提供的一个辅助工具，可以非常方便的来操作集群，它是用ruby写的，因此需要在服务器上安装相应环境。
  • 下面两种方式选择其中一种即可

使用yum安装

yum install ruby -y

源码安装

  1. 安装Ruby
  2. 下载安装包，地址https://www.ruby-lang.org/en/downloads/
  3. 然后分别configure、make、make install
  4. 还需要安装rubygems
  5. 下载安装包，地址https://rubygems.org/pages/download
  6. 解压后进入解压文件夹运行 ruby setup.rb。

安装redis的ruby library

  1. 由于连接国外源不太稳定，建议安装国内源 gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/。
  2. 可以通过 gem sources -l 查看源并确保只有gems.ruby-china.org。
  3. 运行 gem install redis

使用redis-trib.rb来初始化集群

ruby redis-trib.rb create --replicas 1 127.0.0.1:6374
127.0.0.1:6375 127.0.0.1:6376 127.0.0.1:6377 127.0.0.1:6378
127.0.0.1:6379

create 表示要初始化集群，--replicas 1 表示每个驻数据库拥有的从数据
库为1个。

使用redis-trib.rb来迁移插槽

  1. 执行 ruby redis-trib.rb reshard ip:port，这就告诉Redis要重新分片，
    ip:port 可以是集群中任何一个节点。
  2. 然后按照提示去做
  3. 这种方式不能指定要迁移的插槽号

预分区

为了实现在线动态扩容和数据分区，Redis的作者提出了预分区的方案，实
际就是在同一台机器上部署多个Redis实例，当容量不够时将多个实例拆分到不同的机器上，这样就达到了扩容的效果。

拆分过程

  1. 在新机器上启动好对应端口的Redis实例
  2. 配置新端口为待迁移端口的从库
  3. 待复制完成并与主库完成同步后，切换所有客户端配置到新的从库的端口
  4. 配置从库为新的主库
  5. 移除老的端口实例
  6. 重复上述过程把要迁移的数据库转移到指定服务器上

以上拆分流程是Redis作者提出的一个平滑迁移的过程，不过该拆分方法还
是很依赖Redis本身的复制功能的，如果主库快照数据文件过大，这个复制的过程也会很久，同时会给主库带来压力。

TerrenceTian
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis-x64-7.0.5-windows11
10-13
8. **Cluster集群**：Redis Cluster提供分布式解决方案，能够自动处理数据分区和故障恢复。 在Windows 11环境下，安装和配置Redis-x64-7.0.5-dragon需要注意以下几点： 1. **编译环境**：由于Redis原生为Linux系统...
redis-ssg-nqnqn
11-05
7. **地理空间索引**：通过GEO系列命令，Redis可以存储和查询地理位置信息，实现基于距离的搜索。 8. **HyperLogLog**：这是一种用于基数估算的数据结构，可以高效地估算集合中不重复元素的数量，节省存储空间。 9...
Redis的三种集群方式详解
qq_49195366的博客
12-11 4490
Redis有三种集群方案，主从复制，哨兵，cluster集群,主从复制是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave)，数据的复制是单向的，只能由主节点到从节点。默认情况下，每台Redis服务器都是主节点；且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。当主服务器中断服务后，可以将一个从服务器升级为主服务器，以便继续提供服务，但是这个过程需要人工手动来操作。
Redis集群（cluster）
Hai_pp的博客
05-12 7295
由于数据量过大，单个Master复制集难以承担，因此需要对多个复制集进行集群，形成水平扩展每个复制集只负责存储整个数据集的一部分，这就是Redis的集群，其作用是提供在多个Redis节点间共享数据的程序集。Redis集群是一个提供在多个Redis节点间共享数据的程序集，Redis集群可以支持多个Master。Redis集群没有使用一致性hash，而是引入了哈希槽的概念。Redis集群有16384个哈希槽，每个key通过CRC16校验后对16384取模来决定放置哪个槽，集群的每个节点负责一部分hash槽。
【深入学习Redis丨第二篇】Redis集群部署详解
最新发布
陈橘又青的博客
06-02 1万+
因redis5之前版本前cluster安装依赖ruby，且版本要求比较苛刻，本次安装的版本redis4.0.14，依赖的ruby版本为>=ruby2.4,因此大家安装时可以安装高版本的ruby，本次使用的是ruby2.7.5版本。安装完ruby后，使用gem安装redis包，此时如果没有安装openssl 则回报如下错误。配置文件中主要修改如下内容，其他的可按需调整，也可保持默认值，各节点中注意修改对应的端口号。配置文件中主要修改如下内容，其他的可按需调整，也可保持默认值，各节点中注意修改对应的端口号。
redis 集群
TylerPY的博客
07-01 890
看问题： 容量不够，redis如何进行扩容？ 并发写操作， redis如何分摊？ 另外，主从模式，薪火相传模式，主机宕机，导致ip地址发生变化，应用程序中配置需要修改对应的主机地址、端口等信息。之前通过代理主机来解决，但是redis3.0中提供了解决方案。就是无中心化集群配置。 什么是集群 Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。 Redis 集群通过分区（partition）来提供一定程度的可用性（avai
Redis集群原理详解
热门推荐
张维鹏的博客
02-16 5万+
一、redis cluster 介绍： 1、单实例的Redis架构： 最开始的一主N从加上读写分离，Redis作为缓存单实例貌似也还不错，并且有Sentinel哨兵机制，可以实现主从故障迁移。 单实例Redis本质上只有一台Master作为存储，就算机器为128GB的内存，一般建议使用率也不要超过70%-80%，所以最多使用100GB数据就已经很多了，实际中50%就不错了，因为数据量太大也会降低服务的稳定性，而且数据量太大意味着持久化成本高，可能严重阻塞服务，甚至最终切主。所以，单实例还存在以下几
为什么Redis集群的最大槽数是16384个？
m0_71777195的博客
03-31 1242
Redis Cluster是Redis3.0引入的一种无中心化的集群，客户端可以向任何一个节点通信，不同节点间的数据不互通，Redis Cluster将数据的key通过将CRC16算法的结果取模16383后，分给16384个slot槽，集群的每个节点负责一部分hash槽，节点只负责管理映射到这个槽的KV数据，对于不是当前槽的KV数据，会向客户端发送一个MOVED，表示需要客户端重新重定向到其它节点。集群中节点越多，心跳包的消息体内的数据就越多，如果节点过多，也会造成网络拥堵。因此Redis的作者。
redis-7.0.0-x64-windows.rar
04-28
在Redis 7.0.0版本中，包含了一系列的改进和新特性。首先，从源码编译意味着你可以深入了解其内部工作原理，同时可以根据需求进行定制化修改。对于开发者来说，这是一个非常宝贵的学习和调试资源。其次，新版本可能...
redis-cluster工具包(64位).7z
04-20
在Windows环境下配置Redis Cluster，你需要一系列工具，这个"redis-cluster工具包(64位).7z"就提供了这些必备组件。下面将详细介绍其中每个文件的作用以及如何使用它们来搭建Redis Cluster。 1. `rubyinstaller-...
Redis6.0.5 Linux安装、附集群笔记.rar
06-12
通过阅读笔记和实践，你可以更深入地了解如何在生产环境中部署和管理Redis集群。 在提供的压缩包"Redis6.0.5 Linux安装、附集群笔记"中，包含了详细的图文教程，适合初学者参考。记得按照文档中的步骤操作，并结合...
五、Redis 主从集群 —— 超详细操作演示！
weixin_43412762的博客
12-17 1737
对于Master宕机后的冷处理方式是无法实现高可用的。Redis 从 2.6 版本开始提供了高可用的解决方案Sentinel哨兵机制。在集群中再引入一个节点，该节点充当Sentinel哨兵，用于监视Master的运行状态，并在 Master 宕机后自动指定一个Slave作为新的Master。整个过程无需人工参与，完全由哨兵自动完成。不过，此时的Sentinel哨兵又成为了一个单点故障点：若哨兵发生宕机，整个集群将瘫痪。所以为了解决Sentinel的单点问题，又要为Sentinel创建一个集群，即。
为什么 Redis 集群设计为 16384 个槽？
小楠的博客
09-16 520
为什么 Redis 集群设计为 16384 个槽？
redis槽道原理
泛小舟的博客
01-05 6931
redis-cluster槽道的原理: 本文配图是为了便于理解，如果图片影响了您的阅读，翻到博客末尾，笔者copy了无图版 1 redis服务如何判断key对应的槽道号,是否由本节点管理? 每一个节点都有一个属于自己的16384位的二进制位序列，每一位对应一个槽道号，当该二进制序列的某一位为1时，代表当前结点对该槽道号具有管理权。（下图表示，当前结点对槽道：0 2 3 4...
详细Redis入门教程
once先森的博客
10-29 5528
Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的高性能的日志型、Key-Value数据库，并提供多种语言的API。Redis的出现补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便。
Redis槽道
帅成一匹马
03-11 392
redis-cluster槽道的原理: 1 redis服务如何判断key对应的槽道号,是否由本节点管理? 每一个节点都有一个属于自己的16384位的二进制位序列，每一位对应一个槽道号，当该二进制序列的某一位为1时，代表当前结点对该槽道号具有管理权。（下图表示，当前结点对槽道：02 3 4 .... 16383具有管理权：） 当客户端通过某一结点(比如8000)向cluste...
redis入门
m0_59234718的博客
02-26 1315
1 什么是redis Redis 是一个开源（BSD 许可）的内存数据结构存储，用作数据库、缓存和消息代理。Redis 提供数据结构，例如字符串、散列、列表、集合、具有范围查询的排序集合、位图、超日志、地理空间索引和流。Redis 具有内置复制、Lua 脚本、LRU 驱逐、事务和不同级别的磁盘持久性，并通过 Redis Sentinel 和 Redis Cluster 自动分区提供高可用性。 Redis是一个开源的使用ANSI C语言编写可基于内存亦可基于磁盘，Key-Value数据库。类似于map
Redis Cluster为什么有16384个槽？
BrianWey的博客
10-14 1753
原译：　　 1、正常的心跳包携带节点的完整配置，可以用幂等方式替换旧节点以更新旧配置。 这意味着它们包含原始形式的节点的插槽配置，它使用带有16k插槽的2k空间，但使用65k插槽时将使用高达8k的空间。2、同时，由于其他设计权衡，Redis Cluster不太可能扩展到超过1000个主节点。 因此，16k处于正确的范围内，以确保每个主站有足够的插槽，最多1000个主站，但足够小的数字可以轻松地将...
搭建Redis集群教程：从环境准备到集群创建
"Redis集群搭建教程" 在搭建Redis集群时，我们需要遵循一系列步骤来确保所有组件正确配置并协同工作。Redis集群提供了一种扩展Redis功能的方式，通过将数据分布到多个节点，实现了高可用性和可扩展性。以下是关键的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值