redis集群搭建介绍

最新推荐文章于 2024-04-30 16:51:46 发布
最新推荐文章于 2024-04-30 16:51:46 发布
阅读量127 收藏
点赞数
分类专栏： redis
原文链接：https://blog.csdn.net/men_wen/article/details/72853078
版权

本文转载自：https://blog.csdn.net/men_wen/article/details/72853078

1. Redis Cluster介绍

Redis Cluster是Redis的分布式解决方案，在Redis 3.0版本正式推出的，有效解决了Redis分布式方面的需求。当遇到单机内存、并发、流量等瓶颈时，可以采用Cluster架构达到负载均衡的目的。

1.1 数据分布理论

分布式数据库首要解决把整个数据集按照分区规则映射到多个节点的问题，即把数据集划分到多个节点上，每个节点负责整个数据的一个子集。常见的分区规则有哈希分区和顺序分区。Redis Cluster采用哈希分区规则，因此接下来会讨论哈希分区规则。常见的哈希分区有以下几种：

  • 节点取余分区
  • 一致性哈希分区
  • 虚拟槽分区

Redis Cluster采用虚拟槽分区，因此先介绍一下虚拟槽分区。

虚拟槽分区巧妙地使用了哈希空间，使用分散度良好的哈希函数把所有的数据映射到一个固定范围内的整数集合，整数定义为槽（slot）。比如Redis Cluster槽的范围是0 ～ 16383。槽是集群内数据管理和迁移的基本单位。采用大范围的槽的主要目的是为了方便数据的拆分和集群的扩展，每个节点负责一定数量的槽。

1.2 Redis 数据分区

Redis Cluster采用虚拟槽分区，所有的键根据哈希函数映射到0 ～ 16383，计算公式：slot = CRC16(key)&16383。每一个节点负责维护一部分槽以及槽所映射的键值数据。

下图展现一个五个节点构成的集群，每个节点平均大约负责3276个槽，以及通过计算公式映射到对应节点的对应槽的过程。

这里写图片描述

Redis虚拟槽分区的特定：

  • 解耦数据和节点之间的关系，简化了节点扩容和收缩难度。
  • 节点自身维护槽的映射关系，不需要客户端或者代理服务维护槽分区元数据。
  • 支持节点、槽、键之间的映射查询，用于数据路由、在线伸缩等场景。

1.3 Redis 集群功能限制

Redis集群相对单机在功能上有一定限制。

  • key批量操作支持有限。如：MSET``MGET，目前只支持具有相同slot值的key执行批量操作。
  • key事务操作支持有限。支持多key在同一节点上的事务操作，不支持分布在多个节点的事务功能。
  • key作为数据分区的最小粒度，因此不能将一个大的键值对象映射到不同的节点。如：hash、list。
  • 不支持多数据库空间。单机下Redis支持16个数据库，集群模式下只能使用一个数据库空间，即db 0。
  • 复制结构只支持一层，不支持嵌套树状复制结构。

2. 搭建 Redis Cluster

搭建集群工作分为三步：

  • 准备节点
  • 节点握手
  • 分配槽

2.1 准备节点

Redis 集群一般由多个节点组成，节点数量为6个才能保证组成完整高可用的集群。下面给出一个节点的配置，其他的节点和该节点只是端口不同。

port 6379                               //端口
cluster-enabled yes                     //开启集群模式
cluster-config-file nodes-6379.conf     //集群内部的配置文件
cluster-node-timeout 15000              //节点超时时间，单位毫秒
// 其他配置和单机模式相同

启动所有的节点

sudo redis-server conf/redis-6384.conf
sudo redis-server conf/redis-6383.conf
sudo redis-server conf/redis-6382.conf
sudo redis-server conf/redis-6381.conf
sudo redis-server conf/redis-6380.conf
sudo redis-server conf/redis-6379.conf

可以查看日志文件

cat log/redis-6379.log
13103:M 30 May 15:02:09.577 * DB loaded from disk: 0.000 seconds
13103:M 30 May 15:02:09.578 * The server is now ready to accept connections on port 6379

有日志文件可得，节点已经启动成功。这个日志文件是Redis服务器普通的日志文件，在集群模式下，第一次也会自动创建一个日志文件，由配置文件cluster-config-file指定文件。

集群配置文件的作用：当集群内节点发生信息变化时，如添加节点、节点下线、故障转移等。节点会自动保存集群的状态到配置文件中。该配置文件由Redis自行维护，不要手动修改，防止节点重启时产生集群信息错乱。

我们来查看一下，集群模式的日志文件：

cat nodes-6379.conf 
29978c0169ecc0a9054de7f4142155c1ab70258b :0 myself,master - 0 0 0 connected
vars currentEpoch 0 lastVoteEpoch 0
 
 
<

也可以通过客户端连接该节点，通过命令CLUSTER NODES来查看：

127.0.0.1:6379> CLUSTER NODES
29978c0169ecc0a9054de7f4142155c1ab70258b :6379 myself,master - 0 0 0 connected

2.2 节点握手

节点握手是指一批运行在集群模式的节点通过Gossip协议彼此通信，达到感知对方的过程。节点握手是集群彼此通信的第一步，由客户端发起命令：cluster meet <ip> <port>

127.0.0.1:6379> CLUSTER MEET 127.0.0.1 6380
OK
// 发送CLUSTER NODES可以查看到已经感知到 6380 端口的节点了。
127.0.0.1:6379> CLUSTER NODES
29978c0169ecc0a9054de7f4142155c1ab70258b 127.0.0.1:6379 myself,master - 0 0 1 connected
8f285670923d4f1c599ecc93367c95a30fb8bf34 127.0.0.1:6380 master - 0 1496129041442 0 connected

让所有的节点都互相感知：

127.0.0.1:6379> CLUSTER MEET 127.0.0.1 6381
OK
127.0.0.1:6379> CLUSTER MEET 127.0.0.1 6382
OK
127.0.0.1:6379> CLUSTER MEET 127.0.0.1 6383
OK
127.0.0.1:6379> CLUSTER MEET 127.0.0.1 6384
OK
// 已经全部感知到所有的节点
127.0.0.1:6379> CLUSTER NODES
e0c7961a1b07ab655bc31d8dfd583da565ec167d 127.0.0.1:6384 master - 0 1496129143703 0 connected
961097d6be64ebd2fd739ff719e97565a8cee7b5 127.0.0.1:6382 master - 0 1496129141678 0 connected
29978c0169ecc0a9054de7f4142155c1ab70258b 127.0.0.1:6379 myself,master - 0 0 1 connected
8f285670923d4f1c599ecc93367c95a30fb8bf34 127.0.0.1:6380 master - 0 1496129142682 3 connected
6fb7dfdb6188a9fe53c48ea32d541724f36434e9 127.0.0.1:6383 master - 0 1496129145699 4 connected
66478bda726ae6ba4e8fb55034d8e5e5804223ff 127.0.0.1:6381 master - 0 1496129147704 2 connected

当前已经使这六个节点组成集群，但是现在还无法工作，因为集群节点还没有分配槽（slot）。

2.3 分配槽

可以看一下6379端口的槽个数

127.0.0.1:6379> CLUSTER INFO
cluster_state:fail
cluster_slots_assigned:0            // 被分配槽的个数为0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:0
cluster_current_epoch:5
cluster_my_epoch:1
cluster_stats_messages_sent:479
cluster_stats_messages_received:479

接下来为节点分配槽空间。通过cluster addslots命令。

redis-cli -h 127.0.0.1 -p 6379 cluster addslots {0..5461}
OK
redis-cli -h 127.0.0.1 -p 6380 cluster addslots {5462..10922}
OK
redis-cli -h 127.0.0.1 -p 6381 cluster addslots {10923..16383}
OK

我们将16383个槽平均分配给6379、6380、6381端口的节点。再次执行CLUSTER INFO查看一下集群的状态：

127.0.0.1:6379> CLUSTER INFO
cluster_state:ok                // 集群状态OK
cluster_slots_assigned:16384    // 已经分配了所有的槽
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:5
cluster_my_epoch:1
cluster_stats_messages_sent:1212
cluster_stats_messages_received:1212

可以通过CLUSTER NODES来查看分配情况：

127.0.0.1:6379> CLUSTER NODES
e0c7961a1b07ab655bc31d8dfd583da565ec167d 127.0.0.1:6384 master - 0 1496129666347 0 connected
961097d6be64ebd2fd739ff719e97565a8cee7b5 127.0.0.1:6382 master - 0 1496129664844 5 connected
29978c0169ecc0a9054de7f4142155c1ab70258b 127.0.0.1:6379 myself,master - 0 0 1 connected 0-5461
8f285670923d4f1c599ecc93367c95a30fb8bf34 127.0.0.1:6380 master - 0 1496129665846 3 connected 5462-10922
6fb7dfdb6188a9fe53c48ea32d541724f36434e9 127.0.0.1:6383 master - 0 1496129661838 4 connected
66478bda726ae6ba4e8fb55034d8e5e5804223ff 127.0.0.1:6381 master - 0 1496129666848 2 connected 10923-16383

目前还有三个节点没有使用，作为一个完整的集群，每个负责处理槽的节点应该具有从节点，保证当主节点出现故障时，可以自动进行故障转移。集群模式下，首次启动的节点和被分配槽的节点都是主节点，从节点负责复制主节点槽的信息和相关数据。

使用cluster replicate <nodeid>在从节点上执行。

redis-cli -h 127.0.0.1 -p 6382 cluster replicate 29978c0169ecc0a9054de7f4142155c1ab70258b
OK
redis-cli -h 127.0.0.1 -p 6383 cluster replicate 8f285670923d4f1c599ecc93367c95a30fb8bf34
OK
redis-cli -h 127.0.0.1 -p 6384 cluster replicate 66478bda726ae6ba4e8fb55034d8e5e5804223ff
OK

通过CLUSTER NODES可以查看集群节点的状态

127.0.0.1:6379> CLUSTER NODES
e0c7961a1b07ab655bc31d8dfd583da565ec167d 127.0.0.1:6384 slave 66478bda726ae6ba4e8fb55034d8e5e5804223ff 0 1496130082754 2 connected
961097d6be64ebd2fd739ff719e97565a8cee7b5 127.0.0.1:6382 slave 29978c0169ecc0a9054de7f4142155c1ab70258b 0 1496130080749 5 connected
29978c0169ecc0a9054de7f4142155c1ab70258b 127.0.0.1:6379 myself,master - 0 0 1 connected 0-5461
8f285670923d4f1c599ecc93367c95a30fb8bf34 127.0.0.1:6380 master - 0 1496130078744 3 connected 5462-10922
6fb7dfdb6188a9fe53c48ea32d541724f36434e9 127.0.0.1:6383 slave 8f285670923d4f1c599ecc93367c95a30fb8bf34 0 1496130079747 4 connected
66478bda726ae6ba4e8fb55034d8e5e5804223ff 127.0.0.1:6381 master - 0 1496130081751 2 connected 10923-16383

这样就完成了一个3主3从的Redis集群搭建。如下图所示：

这里写图片描述

本文参考：《Redis开发与运维》

易方达蓝筹
关注
专栏目录
Redis Cluster 搭建
qq_26368081的博客
05-29 487
Redis Cluster 搭建 文章目录Redis Cluster 搭建1. 配置2. 构建集群3. 验证集群(1) 随机登陆一台redis客户端(2) 查看集群(3) 故障转移4. redis-manager搭建搭建说明(1) 创建项目所需目录(2) 添加到开机自启动(3) redis-manager添加集群 1. 配置 实例 角色 说明 192.168.10.139 Master 主节点 192.168.10.142 Slave 从节点,对应139 192.168.10.140
Redis 学习笔记（十四）Redis Cluster介绍与搭建
热门推荐
men_wen的博客
06-03 3万+
Redis Cluster 介绍与搭建1. Redis Cluster介绍Redis Cluster是Redis的分布式解决方案，在Redis 3.0版本正式推出的，有效解决了Redis分布式方面的需求。当遇到单机内存、并发、流量等瓶颈时，可以采用Cluster架构达到负载均衡的目的。1.1 数据分布理论分布式数据库首要解决把整个数据集按照分区规则映射到多个节点的问题，即把数据集划分到多个节点上，每
Redis Cluster搭建
qq_40016729的博客
09-04 120
Redis cluster Cluster模式是Redis3.0开始推出的，采用无中心结构，每个节点保存数据喝整个集群状态，每个节点都和其他所有节点连接，官方要求：至少6个节点才可以保证高可用，即3主3从；扩展性强、更好做到高可用；各个节点会互相通信，采用gossip协议交换节点元数据信息，数据分散存储到各个节点上。 Redis Cluster集群：每个主节点不同，是数据的子集，利用多台服务器构建集群提供超大规模数据处理能力，同时提供高可用支持。 Redis Cluster集群采用Hash Slot(哈希
Redis Cluster集群搭建
weixin_43844718的博客
08-09 2149
redis集群环境搭建及操作中遇见的问题解决方法
docker 实现redis集群搭建
08-19
"docker 实现redis集群搭建" 一、Redis Cluster 概念 Redis Cluster 是 Redis 的分布式解决方案，旨在解决 Redis 单机中心化的问题。它将整个数据集按照分区规则映射到多个节点上，使得 Redis 能够水平扩展以应对...
阿里云公网redis集群搭建以及java访问redis集群
04-20
阿里云公网Redis集群搭建及Java访问教程 在云计算日益普及的今天，阿里云提供了便捷的公共服务，如Redis缓存服务，帮助企业或个人快速构建高效、可靠的分布式应用。本教程将详细讲解如何在阿里云上搭建公网Redis...
Redis集群搭建
01-20
Redis集群搭建 在Centos7.5上多台宿主机使用docker部署redis集群的过程，redis集群一般需要6台redis服务器,使用docker可以节省服务器资源，除开放主从6379和6380端口外还得开放集群总线端口，集群总线端口为redis...
Redis集群搭建教程（含搭建文档和所需软件）.zip
10-30
本教程将详细介绍如何搭建一个完整的Redis集群。 **一、Redis集群基础** 1. **数据分片**：Redis Cluster通过数据分片技术将数据分散到多个节点上，每个节点存储一部分数据。它采用CRC16算法计算键的槽位，然后将...
redis集群搭建手册.docx
02-18
**Redis集群搭建手册** Redis，全称Remote Dictionary Server，是一种高性能的键值对数据库，以其丰富的数据类型、高效的内存管理以及支持持久化等特性，在分布式系统中被广泛应用于缓存、消息中间件以及数据存储等...
redis cluster搭建
bobo now~
11-13 464
redis cluster搭建
redis cluster集群搭建
weixin_43075758的博客
03-06 3407
​redis cluster集群: 这种结构很容易 添加 或者 删除 节点。如果 增加 一个节点 6，就需要从节点 1 ~ 5 获得部分 槽 分配到节点 6 上。如果想 移除 节点 1，需要将节点 1 中的 槽 移到节点 2 ~ 5 上，然后将 没有任何槽 的节点 1 从集群中 移除 即可。 由于从一个节点将 哈希槽 移动到另一个节点并不会 停止服务，所以无论 添加删除 或者 改变 某个节点的 哈希槽的数量 都不会造成 集群不可用 的状态. 搭建： 1.先下载gcc：gcc是linux系统下面用来将代码编译
Redis集群之cluster搭建
最新发布
weixin_45476104的博客
04-30 1667
redis主从集群,哨兵集群,可以应对高并发读的场景,但是高并发写与海量数据存储的问题依然不能解决,主从之间数据同步的缺陷就限制了主服务器内存不能设置的太高,为解决并发写与高可用的问题引入了分片集群(cluster)Cluster集群模式也被称为切片集群是Redis官方推荐使用的一种模式，Cluster方案采用哈希槽（hash slot）来处理实例之间的映射关系，在集群中总共有16384个哈希槽，默认形式是将16384个哈希槽分配给所有的节点,即哈希槽与集群节点绑定。
Redis cluster搭建
bjgaocp的博客
03-13 494
集群简单概念 1 Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施。 2 Redis 集群不支持那些需要同时处理多个键的 Redis 命令， 因为执行这些命令需要在多个 Redis 节点之间移动数据， 并且在高负载的情况下， 这些命令将降低 Redis 集群的性能， 并导致不可预测的行为。 3 Redis 集群通过分区来提供一定程度的可用性： 即使集群中有一部分节点失效或者...
redis-cluster搭建
weixin_40524659的博客
10-02 352
一,系统概述 1系统总体构架 Redis-Cluster架构图 说明：每台Redis机器上有三个Redis实例：一个Master节点，两个Slave节点（Slave节点用来对主节点数据进行备份以及故障切换使用）。Master-Slave的组合方式如图1所示，在Cluster模式下，每个组内有一个Master和一至多个Slave（图中为1个Master对应2个Slave），且多个组的master共同组成一个Cluster集群。 (1)所有的Redis节点彼此互联(PING-PONG...
Redis-Cluster集群搭建
Heart_F的博客
08-09 1872
redis集群搭建
Redis集群Cluster搭建
世界既不黑也不白，而是一道精致的灰。
08-01 1024
redis-cli -h 192.168.1.5 -p 6379 cluster nodes 验证成功信息如下。当我们再次设置时，集群会根据CRC计算改数据存放到那个槽位，集群存在脏数据需要再三台Master执行以下三个命令。在集群链接模式下，能访问到所有节点所有槽位的数据。三个集群节点，每个节点有个副本节点备份数据。设置后查看节点信息，成功画面如下。如果遇到【Error】如下。
Redis cluster集群搭建
J 博客
09-14 362
如果主节点设置了requirepass登录验证，在主从切换，slave在和master做数据同步的时候首先需要发送一个ping的消息给主节点判断主节点是否存活，再监听主节点的端口是否联通，发送数据同步等都会用到master的登录密码，否则无法登录，log会出现响应的报错。也就是说slave的masterauth和master的requirepass是对应的，所以建议redis启用密码时将各个节点的masterauth和requirepass设置为相同的密码，降低运维成本。4、拷贝配置文件到指定目录。
Redis集群搭建与运维指南
"该文档是关于Redis集群搭建的详细指南，涵盖了从Redis的基本概念到集群配置、运维操作、命令详解以及调优等多个方面。" 在深入探讨Redis集群搭建之前，我们先来理解一下Redis和Redis-cluster。Redis是一个开源的、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值