Redis-Cluster集群搭建

最新推荐文章于 2024-07-17 17:18:59 发布
最新推荐文章于 2024-07-17 17:18:59 发布
阅读量423 收藏 1
点赞数 1
文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39713141/article/details/118787375
版权

Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。

在这里插入图片描述

集群概念

在这里插入图片描述

  1. 由多个Redis服务器组成的分布式网络服务集群；
  2. 集群之中有多个Master主节点，每一个主节点都可读可写；
  3. 节点之间会互相通信，两两相连；
  4. Redis集群无中心节点。

Redis存储原理

Redis Cluster 将所有数据划分为 16384 个 slots（槽位），每个节点负责其中一部分槽位。槽位的信息存储于每个节点中。只有master节点会被分配槽位，slave节点不会分配槽位。

当Redis Cluster 的客户端来连接集群时，它也会得到一份集群的槽位配置信息，并将其缓存在客户端本地。这样当客户端要查找某个 key 时，可以直接定位到目标节点。同时因为槽位的信息可能会存在客户端与服务器不一致的情况，还需要纠正机制来实现槽位信息的校验调整。

在这里插入图片描述

Cluster 默认会对 key 值使用 crc16 算法进行 hash 得到一个整数值，然后用这个整数值对 16384 进行取模来得到具体槽位。

HASH_SLOT = CRC16(key) % 16384

Moved重定向

在这里插入图片描述

  • 槽命中：直接返回结果
  • 槽不命中：即当前键命令所请求的键不在当前请求的节点中，则当前节点会向客户端发送一个Moved 重定向，客户端根据Moved 重定向所包含的内容找到目标节点，再一次发送命令。

故障转移

Redis集群的主节点内置了类似Redis Sentinel的节点故障检测和自动故障转移功能，当集群中的某个主节点下线时，集群中的其他在线主节点会注意到这一点，并对已下线的主节点进行故障转移。
在这里插入图片描述

原理如下：

  1. slave发现自己的master变为FAIL
  2. 将自己记录的集群currentEpoch（选举轮次标记）加1，并广播信息给集群中其他节点
  3. 其他节点收到该信息，只有master响应，判断请求者的合法性，并发送结果
  4. 尝试选举的slave收集master返回的结果，收到超过半数master的统一后变成新Master
  5. 广播Pong消息通知其他集群节点。

集群进行故障转移的方法和Redis Sentinel进行故障转移的方法基本一样，不同的是，在集群里面，故障转移是由集群中其他在线的主节点负责进行的，所以集群不必另外使用Redis Sentinel。

集群搭建

  1. 创建redis-cluster.tmpl文件

一定要配置masterauth，不然会集群节点之间无法通信，造成整个集群的fail

port ${PORT}
requirepass 123456
masterauth 123456
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 10.72.96.97
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}
  • port：节点端口；
  • requirepass：添加访问认证；
  • masterauth：如果主节点开启了访问认证，从节点访问主节点需要认证；
  • protected-mode：保护模式，默认值 yes，即开启。开启保护模式以后，需配置 bind ip 或者设置访问密码；关闭保护模式，外部网络可以直接访问；
  • daemonize：是否以守护线程的方式启动（后台启动），默认 no；
  • appendonly：是否开启 AOF 持久化模式，默认 no；
  • cluster-enabled：是否开启集群模式，默认 no；
  • cluster-config-file：集群节点信息文件；
  • cluster-node-timeout：集群节点连接超时时间；
  • cluster-announce-ip：集群节点 IP，填写宿主机的 IP；
  • cluster-announce-port：集群节点映射端口；
  • cluster-announce-bus-port：集群节点总线端口。

每个 Redis 集群节点都需要打开两个 TCP 连接。一个用于为客户端提供服务的正常 Redis TCP 端口，例如 6379。还有一个基于 6379 端口加 10000 的端口，比如 16379。

第二个端口用于集群总线，这是一个使用二进制协议的节点到节点通信通道。节点使用集群总线进行故障检测、配置更新、故障转移授权等等。客户端永远不要尝试与集群总线端口通信，与正常的 Redis 命令端口通信即可，但是请确保防火墙中的这两个端口都已经打开，否则 Redis 集群节点将无法通信。

  1. 创建目录和配置文件
for port in `seq 7000 7005`; do \
  mkdir -p ${port}/conf \
  && PORT=${port} envsubst < redis-cluster.tmpl > ${port}/conf/redis.conf \
  && mkdir -p ${port}/data;\
done

上面的 shell for 语句，意思就是循环创建 7000 ~ 7005 相关的目录及文件。

执行完之后会生成如下文件
在这里插入图片描述

查看其中的某个配置文件如下：

port 7000
requirepass 123456
masterauth 123456
protected-mode no
daemonize no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000
cluster-announce-ip 10.72.96.97
cluster-announce-port 7000
cluster-announce-bus-port 17000
  1. 创建redis容器

方式1： shell for，里面的参数根据自己的实际情况修改。

for port in $(seq 6371 6373); do \
  docker run -di --restart always --name redis-${port} --net host \
  -v /usr/local/docker-redis/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf \
  -v /usr/local/docker-redis/redis-cluster/${port}/data:/data \
  redis redis-server /usr/local/etc/redis/redis.conf; \
done

方式2: docker-compose.yml

version: '3.4'
services:
  node1:
    image: redis
    container_name: redis-node1
    restart: always
    ports:
      - 7000:7000
      - 17000:17000
    volumes:
      - /Users/qiaochunxiang/Desktop/redis/7000/data:/data
      - /Users/qiaochunxiang/Desktop/redis/7000/conf/redis.conf:/usr/local/etc/redis/redis.conf
    command:
      redis-server /usr/local/etc/redis/redis.conf
       
  node2:
    image: redis
    container_name: redis-node2
    restart: always
    ports:
      - 7001:7001
      - 17001:17001
    volumes:
      - /Users/qiaochunxiang/Desktop/redis/7001/data:/data
      - /Users/qiaochunxiang/Desktop/redis/7001/conf/redis.conf:/usr/local/etc/redis/redis.conf
    command:
      redis-server /usr/local/etc/redis/redis.conf    
       
  node3:
    image: redis
    container_name: redis-node3
    restart: always
    ports:
      - 7002:7002
      - 17002:17002
    volumes:
      - /Users/qiaochunxiang/Desktop/redis/7002/data:/data
      - /Users/qiaochunxiang/Desktop/redis/7002/conf/redis.conf:/usr/local/etc/redis/redis.conf
    command:
      redis-server /usr/local/etc/redis/redis.conf

  node4:
    image: redis
    container_name: redis-node4
    restart: always
    ports:
      - 7003:7003
      - 17003:17003
    volumes:
      - /Users/qiaochunxiang/Desktop/redis/7003/data:/data
      - /Users/qiaochunxiang/Desktop/redis/7003/conf/redis.conf:/usr/local/etc/redis/redis.conf
    command:
      redis-server /usr/local/etc/redis/redis.conf

  node5:
    image: redis
    container_name: redis-node5
    restart: always
    ports:
      - 7004:7004
      - 17004:17004
    volumes:
      - /Users/qiaochunxiang/Desktop/redis/7004/data:/data
      - /Users/qiaochunxiang/Desktop/redis/7004/conf/redis.conf:/usr/local/etc/redis/redis.conf
    command:
      redis-server /usr/local/etc/redis/redis.conf

  node6:
    image: redis
    container_name: redis-node6
    restart: always
    ports:
      - 7005:7005
      - 17005:17005
    volumes:
      - /Users/qiaochunxiang/Desktop/redis/7005/data:/data
      - /Users/qiaochunxiang/Desktop/redis/7005/conf/redis.conf:/usr/local/etc/redis/redis.conf
    command:
      redis-server /usr/local/etc/redis/redis.conf

创建Redis集群

docker exec -it redis-node1 bash


redis-cli --cluster create 10.72.96.97:7000 10.72.96.97:7001 10.72.96.97:7002 10.72.96.97:7003 10.72.96.97:7004 10.72.96.97:7005 --cluster-replicas 1 -a 123456

根据提示输入yes，最后显示信息如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6K990QtS-1626403664641)(https://note.youdao.com/yws/res/16726/F4586B2ED3F2492F88F306BFC91F8457)]

  1. 查看集群信息
10.72.96.97:7000> cluster nodes
84a5bb9bd2119ca4786b101d00903f226de2f319 10.72.96.97:7000@17000 myself,master - 0 1625628182000 1 connected 0-5460
504c3ac8a9961610a714e703cdd9a3d1eb9feef8 10.72.96.97:7001@17001 master - 0 1625628184124 2 connected 5461-10922
b9fbb4a7f591edfe0837179669bb7f46e31b454e 10.72.96.97:7004@17004 slave 5ac5fb1735c0fbe98e0f27a9b064db227425f510 0 1625628184000 3 connected
b719f7c746cd0343651a8b7e42ec737b643decf9 10.72.96.97:7003@17003 slave 504c3ac8a9961610a714e703cdd9a3d1eb9feef8 0 1625628184000 2 connected
9a1ed5946f9e1fc8d4f326a9711594cefe4b4aeb 10.72.96.97:7005@17005 slave 84a5bb9bd2119ca4786b101d00903f226de2f319 0 1625628183000 1 connected
5ac5fb1735c0fbe98e0f27a9b064db227425f510 10.72.96.97:7002@17002 master - 0 1625628185138 3 connected 10923-16383

可以看到，7000、7001、7002是master节点，其他的为slave节点。

  1. 连接redis添加数据
root@914da508f3a6:/data# redis-cli -c -p 7000 -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:7000> select 0
OK
127.0.0.1:7000> set name qiao
-> Redirected to slot [5798] located at 10.72.96.97:7001
OK
10.72.96.97:7001> set age 20
-> Redirected to slot [741] located at 10.72.96.97:7000
OK
10.72.96.97:7000> set sex nan
OK
10.72.96.97:7000> get age
"20"
10.72.96.97:7000> get name
-> Redirected to slot [5798] located at 10.72.96.97:7001
"qiao"
10.72.96.97:7001> get sex
-> Redirected to slot [2584] located at 10.72.96.97:7000
"nan"

可以看到，不同的信息被存到了不同的redis里面。

  1. 测试故障转移

先停掉node1 端口7000节点。

docker stop redis-node1

连接7001 node2节点，然后查看集群信息

127.0.0.1:7001> cluster nodes
84a5bb9bd2119ca4786b101d00903f226de2f319 10.72.96.97:7000@17000 master,fail - 1625628296058 1625628291000 1 disconnected
5ac5fb1735c0fbe98e0f27a9b064db227425f510 10.72.96.97:7002@17002 master - 0 1625628341420 3 connected 10923-16383
b719f7c746cd0343651a8b7e42ec737b643decf9 10.72.96.97:7003@17003 slave 504c3ac8a9961610a714e703cdd9a3d1eb9feef8 0 1625628339356 2 connected
b9fbb4a7f591edfe0837179669bb7f46e31b454e 10.72.96.97:7004@17004 slave 5ac5fb1735c0fbe98e0f27a9b064db227425f510 0 1625628340384 3 connected
9a1ed5946f9e1fc8d4f326a9711594cefe4b4aeb 10.72.96.97:7005@17005 master - 0 1625628342454 7 connected 0-5460
504c3ac8a9961610a714e703cdd9a3d1eb9feef8 10.72.96.97:7001@17001 myself,master - 0 1625628341000 2 connected 5461-10922

可以看到，7000端口master服务已经挂掉，7005slave节点变成了master。

  1. 数据再次获取。
127.0.0.1:7001> get name
"qiao"
127.0.0.1:7001> get age
-> Redirected to slot [741] located at 10.72.96.97:7005
"20"
10.72.96.97:7005> get sex
"nan"

可以看到，数据正常获取。

日拱一卒+
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
缓存学习（十）：分布式Redis之Redis Cluster
Yhc不是咸鱼
05-09 3288
目录 1数据拆分 2 Redis Cluster配置 3集群搭建 4集群命令 4.1redis-cli的集群管理模式 4.2客户端命令 5原理 5.1节点通信 5.2槽的迁移 5.2.1集群收缩 5.2.2集群扩容 5.3请求路由和重定向 5.4故障转移 6 JedisCluster 6.1集群节点的自动发现 6.2JedisClus...
Docker 搭建 Redis Cluster 集群环境
Djdhdhskn的博客
09-08 342
的提示，为了使 Docker 与 Redis Cluster 兼容，您需要使用 Docker 的host网络模式。host网络模式需要在创建容器时通过参数--net host或者指定，host网络模式可以让，容器将不会虚拟出自己的网卡，配置自己的 IP 等，而是使用宿主机的 IP 和端口。
基于docker搭建Redis集群
黑木爷的专栏
06-12 1374
Redis集群选举算法决定了一个Redis集群至少需要3个master，同时每个master节点至少需要一个slave节点做备份，因此一个Redis集群至少需要6个节点。本文也正是在一台宿主机上使用docker构建一个有6个节点的Redis集群。Redis使用槽（slot）指派的方式来进行数据在节点上的分配。一个Redis集群总共有16384（2^14）个槽，假设有3个master，平均每个master负责16384/3=5461个槽。key分配的算法是：对key进行CRC16算法，然后跟16384取模，得
【Docker】使用docker搭建redis-cluster环境【实测成功】
冰河的专栏
04-22 5088
临时接到一个测试任务，而测试需要用到redis-cluster环境，却没有现成的环境可用，于是只能自力更生搭建测试环境。一开始想采用在宿主机上硬搭，但苦于没有那么多的服务器，于是决定试试docker。以下为详细搭建步骤： 基础环境信息 基础环境如下所示： CentOS Linux release 7.5.1804 Docker version 18.09.4 搭建步骤 1、下载red...
redis7 Cluster模式 集群
wan271920545的专栏
02-01 1607
redis集群
Redis节点高可用之Cluster集群搭建
菜鸟联盟
08-09 812
一 介绍 背景 Sentinel解决了主从架构故障自动迁移的问题 但是Master主节点的写能力和存储能力依旧受限 使用Redis的集群cluster就是为了解决单机Redis容量有限的问题，将数据按一定的规则分配到多台机器 什么是集群Cluster 是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理 容易和分布式弄混，分布式系统简单的可以认为就一个庞大的系统，进行拆分度多个小系统 Cluster模式是Redis3.0开始推出
搭建Redis-Cluster集群
03-06 909
集群包括两个节点，节点包括3个redis进程，一共6个redis进程组成Master-Slave模式的集群192.168.1.23：5001 192.168.1.23：5002 192.168.1.23：5003192.168.1.25：5001 192.168.1.25：5002 192.168.1.25：50031 安装redis –> redis-3.2.0.tar.gz，redis版本必
redis-cluster集群搭建
01-20
配置redis.conf配置文件 bind 定义的是当前服务端允许接收客户端登录时指定使用的ip地址 如果绑定127.0.0.1的意思是只能由本地客户端登录,外界客户端无法登录. 61行 是否开启保护模式,在开启yes时,当前redis只允许...
Redis-Cluster 分布式集群.docx
05-13
接下来，我们将深入探讨如何搭建一个Redis Cluster以及其关键操作。 首先，为了构建一个Redis Cluster，你需要至少三个物理节点或虚拟机，每个节点运行两个Redis实例，总共六个实例。在本例中，我们有节点192.168....
完整搭建redis-cluster
09-11
**Redis Cluster 搭建全攻略** Redis 是一个高性能的键值存储系统，而 Redis Cluster 是它的分布式解决方案，提供数据的自动分片、故障转移和高可用性。本指南将详细讲解如何完整地搭建一个 Redis Cluster，同时...
redis-cluster搭建.md
07-09
本文档描述redis-cluster在centos7上面的集群搭建，从源码编译、环境准备、安装redis、修改配置文件、启动集群、关闭集群等各个地方进行详细描述不走
Redis主从、哨兵模式、集群模式
m0_58233942的博客
10-14 235
主从 1.拷贝 cp -r redis01/ redis02 启动容器 docker run -p 6380:6379 --name redis6380 \ -v /usr/local/docker/redis02/data:/data \ -v /usr/local/docker/redis02/conf/redis.conf:/etc/redis/redis.conf \ -d redis redis-server /etc/redis/redis.conf \ --appendonly yes .
Redis相关
qq_33804124的博客
04-01 216
3、创建集群：使用redis-trib脚本创建Redis集群。cluster-require-full-coverage：设置为no，允许集群中有部分节点离线。cluster-config-file：指定集群配置文件的名称和路径。cluster-announce-port：指定节点广播的端口号。cluster-announce-ip：指定节点广播的IP地址。cluster-node-port：指定节点的端口号。cluster-node-ip：指定节点的IP地址。2、在每个节点上启动Redis。
docker compose安装redis集群、集群扩容、集群收缩
XiaoY的专栏
03-24 4157
目录一、redis 配置信息模板二、编写批量生成配置文件脚本三、批量生成配置文件四、编写 docker-compose 文件五、做集群、分配插槽 一、redis 配置信息模板 文件名：redis-cluster.tmpl # redis端口 port ${PORT} #redis 访问密码 requirepass 123456 #redis 访问Master节点密码 masterauth 123456 # 关闭保护模式 protected-mode no # 开启集群 cluster-enabled yes
Redis cluster集群分片部署(亲测可用)
weixin_44269614的博客
02-27 360
Redis的Cluster集群分片部署模式, 亲测可用, 纯手工打造
使用rancher部署redis集群并且解决pod重启ip改变导致的redis集群问题
yygr的博客
05-08 6062
1.两台主机 主机ip 作用 192.168.238.141 做rancher服务器 192.168.238.142 做k8s集群worker机器 2.redis集群信息(三主三从) 服务名 容器内redis端口 容器内redis集群通信端口 映射主机 映射主机redis端口 映射主机redis集群通信端口 credis1 6379 16379 192.168.238.142 20.
Redis 深度历险：核心原理与应用实践 - 读书笔记
最新发布
风中的默默
07-17 1066
不过你也不必过于担心，因为 Redis 对 HyperLogLog 的存储进行了优化，在计数比较小时，它的存储空间采用稀疏矩阵存储，空间占用很小，仅仅在计数慢慢变大、稀疏矩阵占用空间渐渐超过了阎值时，才会一次性转变成稠密矩阵，才会占用 12KB的空间。数据段是由很多操作系统的页面组合而成，当父进程对其中一个页面的数据进行修改时，会将被共享的页面复制一份分离出来，然后对这个复制的页面进行修改，每个页面的大小只有 4KB。用户看到错误对话框后，会先阅读对话框的内容，再点击重试，这样就可以起到人工延时的效果。
搭建redis集群，redis-cli --cluster create ，报段错误
06-10
这个问题可能是由于 Redis 版本过低或者安装配置不正确导致的。你可以尝试以下步骤进行排查： 1. 检查 Redis 版本是否符合要求。Redis 官方建议使用 3.0 及以上版本。如果版本过低，可以升级 Redis。 2. 检查 Redis 配置是否正确。可以查看 Redis 配置文件中是否设置了 cluster-enabled yes，以及相应的端口和节点数量等信息。 3. 检查服务器资源是否充足。如果服务器资源不足，可能会导致 Redis 运行时出现问题。 如果以上方法都无法解决问题，你可以尝试使用其他方法来搭建 Redis 集群，比如使用 Redis Sentinel 或者使用第三方的 Redis 集群管理工具。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值