Redis集群

最新推荐文章于 2024-07-16 20:31:12 发布
最新推荐文章于 2024-07-16 20:31:12 发布
阅读量399 收藏 4
点赞数
分类专栏： Redis Linux 文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40520912/article/details/131499961
版权
Linux 同时被 2 个专栏收录
27 篇文章 0 订阅
订阅专栏
Redis
13 篇文章 0 订阅
订阅专栏

4、Redis集群

4.1、背景

随着业务的发展，单个Redis节点已经无法满足大量数据和请求的需求，并发量太大，单个节点已经达到瓶颈，且单个节点的性能也逐渐降低，此时由于集群的出现，刚好解决了这些问题。

4.2、何为集群

Redis集群是一种高可用性、分布式的Redis部署方式，它将多个Redis节点组成一个逻辑上统一的集群，用于提供可扩展性、负载均衡和故障容错等功能。

在Redis集群中，数据被分片（sharding）存储在不同的节点上，并通过内置的数据分布算法将数据均匀地分配到各个节点上。每个节点都可以独立处理部分数据集和请求，从而保证系统的吞吐量和扩展性。

在Redis集群中，节点分为两种角色：

  1. 主节点（master）：负责存储数据分片的主份，并处理读写请求。
  2. 从节点（slave）：通过复制主节点的数据，提供读服务，并在主节点发生故障时，可以升级为新的主节点。

Redis集群使用的是无中心架构，不依赖于中心协调节点，每个节点都通过gossip协议进行相互通信，共同维护集群的状态和拓扑信息。

4.3 、集群特点

  1. 数据自动分片：集群自动将数据分布到不同的节点上，实现数据的均衡存储和负载均衡。
  2. 自动故障转移：当主节点发生故障时，集群会自动进行故障检测，并将从节点升级为新的主节点，以保证系统的可用性。
  3. 内部通信协议：集群使用Gossip协议进行节点之间的通信和状态更新，确保集群的一致性和高效性。
  4. 客户端路由：客户端可以通过集群提供的路由机制，自动将请求发送到正确的节点上，实现透明访问。
  5. 负载均衡：在Redis集群中，数据和请求会自动分布到不同的节点上，实现负载均衡。这样可以避免单个节点过载，提高系统的稳定性和性能。
  6. 扩展性好：通过使用Redis集群，可以便利地扩展系统的容量和性能，将数据和请求分布在多个节点上，提高整体系统的吞吐量和承载能力。
  7. 高可用性：通过Redis集群，可以将数据分布到多个节点上，实现数据的冗余备份和容错能力。当部分节点不可用时，集群仍然可以继续提供服务，保证系统的可用性。

4.4、集群搭建

采用简单的集群搭建:三主三从，即每个主节点（Master）下面挂一个从节点（slave）

真实成产环境中建议主机和从机不要放在同一网段同一服务器下面

角色地址端口
Master(主机)192.168.12.96379
Master(主机)192.168.12.96384
Master(主机)192.168.12.96385
Slave(从机)192.168.12.96380
Slave(从机)192.168.12.96381
Slave(从机)192.168.12.96383

在这里插入图片描述

1.为了方便统一管理，建议新建一个目录，把配置文件都放在同一个文件夹下面

mkdir ccluster
chmod 777 cluster
ps -ef | grep redis | awk -F" " '{print $2;}' | xargs kill -9 # 方便演示，停止所有的redis

2.复制原始的redis.conf配置文件到刚才创建的目录下

cp /opt/redis-6.2.12/redis.conf   /opt/redis-6.2.12/cluster/

3.创建msater1(端口:6379)的配置文件

在/opt/redis-6.2.12/cluster/目录下创建master的配置文件 redis-6379.conf

#复用原始的配置文件
include /opt/redis-6.2.12/cluster/redis.conf
#后台运行
daemonize yes
#IP地址
bind 127.0.0.1
#配置密码
#requirepass 123456
dir /opt/redis-6.2.12/cluster/
logfile /opt/redis-6.2.12/cluster/6379.log
##端口
port 6379
##rdb文件
dbfilename dump_6379.rdb
#pid文件
pidfile /var/run/redis_6379.pid
# 开启集群设置
cluster-enabled yes
# 设置节点配置文件
cluster-config-file node-6379.conf
# 设置节点失联时间，超过该时间(毫秒)，集群自动进行主从切换
cluster-node-timeout 60000

4.创建msater2(端口:6384)的配置文件

在/opt/redis-6.2.12/cluster/目录下创建master的配置文件 redis-6384.conf

#复用原始的配置文件
include /opt/redis-6.2.12/cluster/redis.conf
#后台运行
daemonize yes
#IP地址
bind 127.0.0.1
#配置密码
#requirepass 123456
dir /opt/redis-6.2.12/cluster/
logfile /opt/redis-6.2.12/cluster/6384.log
##端口
port 6384
##rdb文件
dbfilename dump_6384.rdb
#pid文件
pidfile /var/run/redis_6384.pid
# 开启集群设置
cluster-enabled yes
# 设置节点配置文件
cluster-config-file node-6384.conf
# 设置节点失联时间，超过该时间(毫秒)，集群自动进行主从切换
cluster-node-timeout 60000

5.创建msater3(端口:6385)的配置文件

在/opt/redis-6.2.12/cluster/目录下创建master的配置文件 redis-6385.conf

#复用原始的配置文件
include /opt/redis-6.2.12/cluster/redis.conf
#后台运行
daemonize yes
#IP地址
bind 127.0.0.1
#配置密码
#requirepass 123456
dir /opt/redis-6.2.12/cluster/
logfile /opt/redis-6.2.12/cluster/6385.log
##端口
port 6385
##rdb文件
dbfilename dump_6385.rdb
#pid文件
pidfile /var/run/redis_6385.pid
# 开启集群设置
cluster-enabled yes
# 设置节点配置文件
cluster-config-file node-6385.conf
# 设置节点失联时间，超过该时间(毫秒)，集群自动进行主从切换
cluster-node-timeout 60000

6.创建slave1(端口:6380)的配置文件

在/opt/redis-6.2.12/cluster/目录下创建slave的配置文件 redis-6380.conf

#复用原始的配置文件
include /opt/redis-6.2.12/cluster/redis.conf
#后台运行
daemonize yes
#IP地址
bind 127.0.0.1
#配置密码
#requirepass 123456
dir /opt/redis-6.2.12/cluster/
logfile /opt/redis-6.2.12/cluster/6380.log
##端口
port 6380
##rdb文件
dbfilename dump_6380.rdb
#pid文件
pidfile /var/run/redis_6380.pid
# 开启集群设置
cluster-enabled yes
# 设置节点配置文件
cluster-config-file node-6380.conf
# 设置节点失联时间，超过该时间(毫秒)，集群自动进行主从切换
cluster-node-timeout 60000

7.创建slave2(端口:6381)的配置文件

在/opt/redis-6.2.12/cluster/目录下创建slave的配置文件 redis-6381.conf

#复用原始的配置文件
include /opt/redis-6.2.12/cluster/redis.conf
#后台运行
daemonize yes
#IP地址
bind 127.0.0.1
#配置密码
#requirepass 123456
dir /opt/redis-6.2.12/cluster/
logfile /opt/redis-6.2.12/cluster/6381.log
##端口
port 6381
##rdb文件
dbfilename dump_6381.rdb
#pid文件
pidfile /var/run/redis_6381.pid
# 开启集群设置
cluster-enabled yes
# 设置节点配置文件
cluster-config-file node-6381.conf
# 设置节点失联时间，超过该时间(毫秒)，集群自动进行主从切换
cluster-node-timeout 60000

8.创建slave3(端口:6383)的配置文件

在/opt/redis-6.2.12/cluster/目录下创建slave的配置文件 redis-6383.conf

#复用原始的配置文件
include /opt/redis-6.2.12/cluster/redis.conf
#后台运行
daemonize yes
#IP地址
bind 127.0.0.1
#配置密码
#requirepass 123456
dir /opt/redis-6.2.12/cluster/
logfile /opt/redis-6.2.12/cluster/6383.log
##端口
port 6383
##rdb文件
dbfilename dump_6383.rdb
#pid文件
pidfile /var/run/redis_6383.pid
# 开启集群设置
cluster-enabled yes
# 设置节点配置文件
cluster-config-file node-6383.conf
# 设置节点失联时间，超过该时间(毫秒)，集群自动进行主从切换
cluster-node-timeout 60000

配置文件中一定不能设置密码,否则在创建集群时会报错:[ERR] Node 127.0.0.1:6379 NOAUTH Authentication required.

9.启动maste和slave

# 方便演示，停止所有的redis
ps -ef | grep redis | awk -F" " '{print $2;}' | xargs kill -9
redis-server  /opt/redis-6.2.12/cluster/redis-6379.conf

redis-server  /opt/redis-6.2.12/cluster/redis-6384.conf

redis-server  /opt/redis-6.2.12/cluster/redis-6385.conf

redis-server  /opt/redis-6.2.12/cluster/redis-6380.conf

redis-server  /opt/redis-6.2.12/cluster/redis-6381.conf

redis-server  /opt/redis-6.2.12/cluster/redis-6383.conf

10.查看是否启动

ps -ef |grep redis

在这里插入图片描述

11.合体(组成集群)

redis-cli --cluster create --cluster-replicas 1
127.0.0.1:6379 127.0.0.1:6384 127.0.0.1:6385 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6383

合体的命令后面会跟上所有节点的ip:port列表，多个之间用空格隔开，注意ip 不要写127.0.0.1 ，要写真实ip
--cluster-replicas 1：表示采用最简单的方式配置集群，即每个master 配1个slave ，6个节点就形成了3主3从

在这里插入图片描述

在这里插入图片描述

12.连接集群节点,查看信息

#连接集群中的任意一个节点
redis-cli -h 127.0.0.1 -p 6379 -c
#查看集群信息
cluster nodes

后面的参数 -c代表集群

在这里插入图片描述

从这里也可以看出该节点的信息

在这里插入图片描述

4.5 、何为槽（slots）

在Redis集群中，槽（slot）是指将数据分片存储和管理的最小单位。Redis集群使用哈希槽分片技术，将数据分散存储在不同的节点上，每个节点负责管理一部分槽。

具体来说，Redis集群将整个数据key空间分成16384个槽，每个槽可以存储一个或多个数据key。当数据被写入或读取时，Redis根据key的哈希值将其映射到对应的槽上，然后再将槽分配给不同的节点进行存储和处理。

在这里插入图片描述

节点槽位范围
master1( 端口：6379)[0-5460] ，插槽的位置从0开始的，0表示第1个插槽
master1( 端口：6384)[5460-10922]
master1( 端口：6385)[10923-16383]
slave(端口:6380) slave(端口:6381) slave(端口:6383)从节点没有槽位，slave 是用来对master 做替补的, 即当主节点挂了,变成主节点(反客为主)

即数据库中的每个key 都属于16384个slots中的其中1个，当通过key 读写数据的时候，redis 需要先根据key 计算出key 对应的slots，然后根据slots和master 的映射关系找到对应的redis 节点，key 对应的数据就在这个节点上面。

集群中使用公式 CRC16(key)%16384 计算key 属于哪个槽

4.6、槽（slots）的作用

通过使用槽的分片机制，Redis集群实现了数据的分布式存储和负载均衡。每个节点负责管理一部分槽，可以独立地进行数据存储和处理，从而提高系统的吞吐量和扩展性。

在Redis集群中，槽有以下特性：

  1. 槽的分配和迁移：当集群中有新的节点加入或有节点离开时，槽的分配和迁移会自动进行。Redis集群使用特定的算法（比如哈希槽映射）来决定槽的分配和迁移策略。

  2. 主从复制关系：每个槽都有一个主节点，同时可以有零个或多个从节点（副本）。主节点负责处理该槽的写入和读取请求，并通过复制机制将数据同步到从节点。

  3. 槽的状态：槽有三种状态：未指派（unassigned）、指派给主节点（assigned）和指派给从节点（migrating）。这些状态变化主要用于集群管理和槽的迁移操作。

通过槽的分片机制，Redis集群实现了数据的分布和负载均衡，提高了系统的性能和可扩展性。同时，槽的自动分配和迁移使得集群在节点动态变化时能够自适应地进行资源分配和重新平衡。

4.7、 验证槽（slot）

1.在 配置集群模式的情况下, 每次录入、查询键值，redis 都会计算key 对应的插槽，如果不是当前redis 节点的插槽，且没有采用集群的方式连接,即在连接命令后没有加-c,那么redis 会报错，并告知应前往的redis 实例地址和端口，效果如下

在这里插入图片描述

此时如果加上 -c 就会自动转发

在这里插入图片描述

2.分组

不在同一个slot下面,不能使用mset mget

在这里插入图片描述

如果想使用,可以加上组的概念,及{}

在这里插入图片描述
Reid哨兵模式:元婴之境

悸%动
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis集群
Late_breeze的博客
09-09 1163
redis集群原理以及实验搭建
Redis集群弱/空密码问题整改
11-15
使用redis安装用户，在命令行连接上redis集群后，执行命令：config set requirepass 【自定义的强密码】，如： config set requirepass mypassword@#75@~ 然后执行 config rewrite 将配置密码持久化到redis配置文件...
redis集群redis集群
07-16
redis集群安装 centos6.6 vmware 亲自安装并校验过 绝对可用
redis 集群
TylerPY的博客
07-01 923
看问题： 容量不够，redis如何进行扩容？ 并发写操作， redis如何分摊？ 另外，主从模式，薪火相传模式，主机宕机，导致ip地址发生变化，应用程序中配置需要修改对应的主机地址、端口等信息。之前通过代理主机来解决，但是redis3.0中提供了解决方案。就是无中心化集群配置。 什么是集群 Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。 Redis 集群通过分区（partition）来提供一定程度的可用性（avai
【Redis】集群
最新发布
IdealSanX的博客
07-16 3178
奇数个master节点可以在满足选举该条件的基础上节省一个节点，比如三个master节点和四个master节点的集群相比，大家如果都挂了一个master节点都能选举新master节点，如果都挂了两个master节点都没法选举新master节点了，所以奇数的master节点更多的是从节省机器资源角度出发说的。因为新master的选举需要大于半数的集群master节点同意才能选举成功，如果只有两个master节点，当其中一个挂了，是达不到选举新master的条件的。集群会记录节点和槽的对应关系。
Redis-集群
qq_45126604的博客
06-22 122
一个Redis集群通常由多个节点组成，当节点node发送CLUSTER MEET ip Port进行握手（节点连接的方式），握手成功，则节点将ip和Port所指定的节点添加到当前所在的集群中。 集群的数据结构：每个clusterNode结构保存着一个节点的当前状态，节点的创建时间、名字等。每个节点同时还会为集群中的其他节点创建一个相应的clusterNode来记录其他节点的状态。同时每个接待你还保存一个clusterState记录当前节点视角的集群所处状态。 Cluster Meet 命令的实现
Redis集群数据迁移操作文档
06-29
《Redis集群数据迁移实战指南》 在IT领域，数据迁移是一项关键任务，特别是在使用Redis这样的高性能内存数据库时。本文将详细介绍如何进行Redis集群的数据迁移，包括全量和增量数据迁移，以及离线迁移的方法，主要...
redis集群批量插入
11-23
本文将详细讨论如何在Java环境下连接Redis集群并实现批量插入String类型的数据。 首先，我们需要理解Redis集群的基本概念。Redis集群是通过分片（Sharding）技术来分散数据到多个节点，每个节点存储一部分数据。在...
Redis集群下过期key监听的实现代码
09-09
在讨论Redis集群下过期key监听的实现代码之前，首先需要明确几个核心概念和组件： Redis集群是Redis的一种高可用性解决方案，它通过将数据分布在不同的Redis节点上，并提供一定机制保证数据的复制和高可用性。集群...
阿里云公网redis集群搭建以及java访问redis集群
04-20
阿里云公网Redis集群搭建及Java访问教程 在云计算日益普及的今天，阿里云提供了便捷的公共服务，如Redis缓存服务，帮助企业或个人快速构建高效、可靠的分布式应用。本教程将详细讲解如何在阿里云上搭建公网Redis...
redis集群实战
weixin_34006468的博客
10-27 101
一、说明 redis 3.0集群功能出来已经有一段时间了，目前最新稳定版是3.0.5，我了解到已经有很多互联网公司在生产环境使用，比如唯品会、美团等等，刚好公司有个新项目，预估的量单机redis无法满足，开发又不想在代码层面做拆分，所以就推荐他们尝试一下redis集群，下面做了一些相关笔记，以备后用二、环境1、redis节点10.10.2.70:630010.10....
Redis集群模式
阿肯那顿的博客
03-19 9876
此文由多处转载，自行组织，水平有限，有错误，望大家指正。 现在越来越多的项目都会利用到redis，多实例redis服务比单实例要复杂的多，这里面涉及到定位、容错、扩容等技术问题。我们常用sharding技术来对此进行管理，其集群模式主要有以下几种方式： 主从复制 哨兵模式 Redis官方 Cluster集群模式（服务端sharding） Jedis sharding集群（客户端shardin...
Redis6 系列十 集群
qq_32265203的博客
05-11 286
1.Redis集群 1.1.问题 容量不够，redis如何进行扩容？ 并发写操作，redis如何分摊？ 另外，主从模式，薪火相传模式，主机宕机，导致ip地址发生变化，应用程序中配置需要修改对应的主机地址、端口等信息。 之前通过代理主机来解决，但是redis3.0中提供了解决方案。就是无中心化集群配置。 1.2.什么是集群 Redis集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。 Redis集...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值