Redis Universe: 探索无边界的数据处理星系

最新推荐文章于 2024-09-11 22:29:47 发布

洋芋土豆

最新推荐文章于 2024-09-11 22:29:47 发布

阅读量291

点赞数 13

文章标签： redis 数据库缓存

本文链接：https://blog.csdn.net/2302_76908247/article/details/142026792

版权

引言

一、NoSQL的崛起 - 数据处理的新纪元

1.1 关系型数据库与NoSQL数据库概述

七、Redis Cluster：无中心的星系网络

7.1 Redis Cluster工作原理

7.2 创建Redis Cluster

7.3 集群扩容与维护

八、结语

引言

在当今这个数据驱动的时代，数据库技术的选择对于应用的性能和可扩展性至关重要。随着互联网技术和移动设备的飞速发展，数据量呈现出爆炸式增长，传统的关系型数据库（RDBMS）在处理海量数据、高并发访问以及快速迭代的需求方面逐渐显得力不从心。正是在这样的背景下，NoSQL数据库应运而生，以其灵活的数据模型、卓越的扩展能力和对大规模分布式数据处理的优化，迅速成为技术界的新宠。

"Redis Universe: 探索无边界的数据处理星系" 旨在深入探索NoSQL领域中的佼佼者——Redis。Redis，一个开源的键值存储数据库，以其卓越的性能、丰富的数据结构和友好的接口，被广泛应用于缓存系统、消息队列、实时分析等领域。本博客将带领读者从Redis的基础知识出发，逐步深入了解其高级特性，包括数据持久化、主从复制、哨兵系统以及集群部署等，全面揭示Redis在构建高性能、高可用性和可扩展性应用中的强大能力。

一、NoSQL的崛起 - 数据处理的新纪元

1.1 关系型数据库与NoSQL数据库概述

关系型数据库，是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库。

NoSQL 数据库，全称为 Not Only SQL，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。主要分为临时性键值存储（memcached、Redis）、永久性键值存储（ROMA、Redis）、面向文档的数据库（MongoDB、CouchDB）、面向列的数据库（Cassandra、HBase），每种 NoSQL 都有其特有的使用场景及优点。

1.2 NoSQL数据库的兴起

主要是由于随着互联网发展，数据量越来越大，对性能要求越来越高，传统数据库存在着先天性的缺陷，即单机（单库）性能瓶颈，并且扩展困难。这样既有单机单库瓶颈，却又扩展困难，自然无法满足日益增长的海量数据存储及其性能要求，所以才会出现了各种不同的 NoSQL 产品，NoSQL 根本性的优势在于在云计算时代，简单、易于大规模分布式扩展，并且读写性能非常高。

1.3 RDBMS与NoSQL的比较

	关系型数据库	NoSQL数据库
特点	数据关系模型基于关系模型，结构化存储，完整性约束基于二维表及其之间的联系，需要连接、并、交、差、除等数据操作采用结构化的查询语言(SQL)做数据读写操作需要数据的一致性，需要事务甚至是强一致性	非结构化的存储基于多维关系模型具有特有的使用场景
优点	保持数据的一致性(事务处理) 可以进行 join 等复杂查询通用化，技术成熟	高并发，大数据下读写能力较强基本支持分布式，易于扩展，可伸缩简单，弱结构化存储
缺点	数据读写必须经过 sq\| 解析，大量数据、高并发下读写性能不足对数据做读写，或修改数据结构时需要加锁，影响并发操作无法适应非结构化存储扩展困难昂贵、复杂	join 等复杂操作能力较弱事务支持较弱通用性差无完整约束复杂业务场景支持较差

二、Redis星系导论

中文官网: https://redis.cn

2.1 Redis的定义与历史

Redis (Remote Dictionary Server)

在2009年发布，开发者是意大利的萨尔瓦多·桑菲利波普（Salvatore Sanfilippo），他本想为自己的公司开发一个用于替换MySQL的产品Redis，但是没有想到他把Redis开源后大受欢迎，短短几年，Redis就有了很大的用户群体，目前国内外使用的公司众多,比如:阿里,百度,新浪微博,知乎网,GitHub,Twitter 等 Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-value database)，是一个非关系型数据库，redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久性等功能。 Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛

2.2 Redis的特性

速度快: 10W QPS,基于内存,C语言实现
单线程
持久化
支持多种数据结构
支持多种编程语言
功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
简单: 代码短小精悍(单机核心代码只有23000行左右),单线程开发容易,不依赖外部库,使用简单
主从复制
支持高可用和分布式

单线程为何如此快?

纯内存
非阻塞
避免线程切换和竞态消耗

2.3 Redis的应用场景

Session 共享：常见于web集群中的Tomcat或者PHP中多web服务器session共享
缓存：数据查询、电商网站商品信息、新闻内容
计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景
微博/微信社交场合：共同好友,粉丝数,关注,点赞评论等
消息队列：ELK的日志缓存、部分业务的订阅发布系统
地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能

2.4 Redis缓存实现流程

数据更新操作流程

数据读操作流程

三、构建你的第一座数据库星球

官方下载地址：http://download.redis.io/releases/

3.1 使用rpm包安装Redis

[root@redis-node1 ~]# dnf install redis -y

3.2 从源码编译安装Redis

在一台主机中不能即用rpm安装也用源码安装

3.2.1 源码安装

#解压源码包
[root@redis-node1 ~]# tar zxf redis-7.4.0.tar.gz
[root@redis-node1 ~]# ls
 redis-7.4.0  redis-7.4.0.tar.gz
 

#安装编译工具
[root@redis-node1 redis-7.4.0]# dnf install make gcc initscripts-10.11.6-1.el9.x86_64 -y


 #执行编译命令
[root@redis-node1 redis-7.4.0]# make
[root@redis-node1 redis-7.4.0]# make install


 #启动Redis
[root@redis-node1 redis-7.4.0]# cd utils/
[root@redis-node1 utils]# ./install_server.sh
 Welcome to the redis service installer
 This script will help you easily set up a running redis server
 This systems seems to use systemd.          #提示系统使用的是systemd的初始化方式
 Please take a look at the provided example service unit files in this directory, and adapt and install them. Sorry!

[root@redis-node1 utils]# vim install_server.sh  #搜索到systemd，将其全部注释
##bail if this system is managed by systemd
#_pid_1_exe="$(readlink -f /proc/1/exe)"
#if [ "${_pid_1_exe##*/}" = systemd ]
#then
#       echo "This systems seems to use systemd."
#       echo "Please take a look at the provided example service unit files in this directory, and adapt and install them. Sorry!"
#       exit 1
#fi

[root@redis-node1 utils]# ./install_server.sh    #全部回车即可

3.2.2 配置文件

[root@redis-node1 utils]# vim /etc/redis/6379.conf

bind * -::*

protected-mode no

3.2.3 启动redis

[root@redis-node1 utils]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...

[root@redis-node1 utils]# redis-cli

四、数据操纵术

4.1 Redis基本操作

config get *	查看配置
set key x	写入数据
get key	读取数据
select 1	选择数据库
flushdb	清空当前数据库
flushell	清空所有数据库
move key 1	移动key1
del key	删除
rename old new	改名
expire key 10	设置过期时间
persist key	设置持久化
key user*	查询
exists key	判断是否存在

[root@redis-node1 ~]# redis-cli

#查看配置
127.0.0.1:6379[1]> CONFIG GET bind
 1) "bind"
 2) "* -::*"

#写入和读取数据
127.0.0.1:6379> SET name lee
OK
127.0.0.1:6379> GET name
"lee"
 
#查看所有key
127.0.0.1:6379> keys *
1) "name"

 #选择数据库  redisa中有0-15个数据库
127.0.0.1:6379> select 0
OK
127.0.0.1:6379[1]> select 16
(error) ERR DB index is out of range

 #移动数据
127.0.0.1:6379> set name lee
OK
127.0.0.1:6379> MOVE  name 1
(integer) 1
127.0.0.1:6379> GET name
(nil)
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> get name
"lee"

#改变键名
127.0.0.1:6379[1]> RENAME name id
OK
127.0.0.1:6379[1]> get name
(nil)
127.0.0.1:6379[1]> get id
"lee"

 #设定数据过期时间
127.0.0.1:6379> set name lee ex 10000
OK
127.0.0.1:6379> get  name
"lee"
127.0.0.1:6379> EXPIRE name 3
(integer) 1
127.0.0.1:6379> get name
"lee"
127.0.0.1:6379> get name
(nil)

#删除
127.0.0.1:6379> set name lee
 OK
 127.0.0.1:6379> get name
 "lee"
 127.0.0.1:6379> del name
 (integer) 1
 127.0.0.1:6379> get name
 (nil)

 #持久化保存
127.0.0.1:6379> PERSIST name
 (integer) 0

 #判断key是否存在
127.0.0.1:6379> EXISTS name
 (integer) 1
 127.0.0.1:6379> EXISTS lee
 (integer) 0 

#清空当前库
127.0.0.1:6379> flushdb
 OK
 127.0.0.1:6379> GET name
 (nil)

 #清空所有库
127.0.0.1:6379[1]> FLUSHALL
 OK

五、主从复制：星系的镜像

5.1 主从复制环境配置

redis-node1 master
redis-node2 slave
redis-node3 slave

在配置多台redis时建议用复制的方式节省编译时间

#以node2为例，其他同理
[root@redis-node1 ~]# scp -r redis-7.4.0 root@172.25.254.20:/root
[root@redis-node1 ~]# cd /usr/local/bin/
[root@redis-node1 bin]# rsync -al * root@172.25.254.20:/usr/local/bin
[root@redis-node2 ~]# cd redis-7.4.0/utils/
[root@redis-node2 redis-7.4.0]# dnf install make gcc initscripts-10.11.5-1.el9.x86_64 -y
[root@redis-node2 utils]# ./install_server.sh
[root@redis-node2 utils]# vim /etc/redis/6379.conf
bind * -::*

protected-mode no

5.2 主从复制配置

5.2.1 修改mastser节点的配置文件

#上文已做过就不用做了
[root@redis-node1 & 2 & 3 ~]# vim /etc/redis/6379.conf
protected-mode no

[root@redis-node1 & 2 & 3 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...

5.2.2 配置slave节点

[root@redis-node2 & 3 ~]# vim /etc/redis/6379.conf
replicaof 172.25.254.10 6379

[root@redis-node2 & 3 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...

5.2.3 测试

[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> set name lee
OK

5.3 主从同步过程解析

slave节点发送同步亲求到master节点
slave节点通过master节点的认证开始进行同步
master节点会开启bgsave进程发送内存rbd到slave节点，在此过程中是异步操作，也就是说 master节点仍然可以进行写入动作
slave节点收到rdb后首先清空自己的所有数据
slave节点加载rdb并进行数据恢复
在master和slave同步过程中master还会开启新的bgsave进程把没有同步的数据进行缓存
然后通过自有的replactionfeedslave函数把未通过内存快照发动到slave的数据一条一条写入到 slave中

六、哨兵守护者

6.1 Redis哨兵介绍

Sentinel 进程是用于监控redis集群中Master主服务器工作的状态，在Master主服务器发生故障的时候，可以实现Master和Slave服务器的切换，保证系统的高可用，此功能在redis2.6+的版本已引用，Redis的哨兵模式到了2.8版本之后就稳定了下来。一般在生产环境也建议使用Redis的2.8版本的以后版本

每个哨兵(Sentinel)进程会向其它哨兵(Sentinel)、Master、Slave定时发送消息，以确认对方是否”活” 着，如果发现对方在指定配置时间(此项可配置)内未得到回应，则暂时认为对方已离线，也就是所谓的” 主观认为宕机” (主观:是每个成员都具有的独自的而且可能相同也可能不同的意识)，英文名称： Subjective Down，简称SDOWN

有主观宕机，对应的有客观宕机。当“哨兵群”中的多数Sentinel进程在对Master主服务器做出SDOWN 的判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Server下线判断，这种方式就是“客观宕机”(客观:是不依赖于某种意识而已经实际存在的一切事物)，英文名称是： Objectively Down，简称 ODOWN

通过一定的vote算法，从剩下的slave从服务器节点中，选一台提升为Master服务器节点，然后自动修改相关配置，并开启故障转移（failover）

Sentinel 机制可以解决master和slave角色的自动切换问题，但单个 Master 的性能瓶颈问题无法解决,类似于MySQL中的MHA功能

Redis Sentinel中的Sentinel节点个数应该为大于等于3且最好为奇

sentinel中的三个定时任务

1、每10秒每个sentinel对master和slave执行info

发现slave节点
确认主从关系

2、每2秒每个sentinel通过master节点的channel交换信息(pub/sub)

通过sentinel__:hello频道交互
交互对节点的“看法”和自身信息

3、每1秒每个sentinel对其他sentinel和redis执行pi

6.2 哨兵模式实验

/etc/redis/sentinel.conf 文件在用哨兵程序调用后会更改其配置文件，如果需要重新做需要删掉文件重新编辑，所以做好备份

[root@redis-node1 redis-7.4.0]# cp sentinel.conf sentinel.conf.bak

6.2.1 在master节点中

#编辑配置文件
[root@redis-node1 ~]# cd redis-7.4.0/
[root@redis-node1 redis-7.4.0]# cp sentinel.conf  /etc/redis/
[root@redis-node1 redis-7.4.0]# vim /etc/redis/sentinel.conf
protected-mode no                                  #关闭保护模式      
port 26379                                         #监听端口     
daemonize no                                       #进入不打如后台    
pidfile /var/run/redis-sentinel.pid                #sentinel进程pid文件 
loglevel notice                                    #日志级别
sentinel monitor mymaster 172.25.254.10 6379 2     #创建sentinel监控监控master主机，2表示必须得到2票
sentinel down-after-milliseconds mymaster 10000    #master中断时长，10秒连不上视为master下线
sentinel parallel-syncs mymaster 1                 #发生故障转移后，同时开始同步新master数据的slave数量 
sentinel failover-timeout mymaster 180000          #整个故障切换的超时时间为3分钟

[root@redis-node1 redis-7.4.0]# scp /etc/redis/sentinel.conf 172.25.254.20:/etc/redis/
root@172.25.254.20's password: 
sentinel.conf                                     100%   14KB   6.0MB/s   00:00    
[root@redis-node1 redis-7.4.0]# scp /etc/redis/sentinel.conf 172.25.254.30:/etc/redis/
root@172.25.254.30's password: 
sentinel.conf                                     100%   14KB   6.0MB/s   00:00

6.2.2 启动服务

[root@redis-node1 redis]# redis-sentinel  /etc/redis/sentinel.conf

6.2.3 测试

在开一个master节点终端
[root@redis-node1 ~]# redis-cli
 127.0.0.1:6379> SHUTDOWN

6.3 高可用性问题与解决方案

问题：在生产环境中如果master和slave中的网络出现故障，由于哨兵的存在会把master提出去当网络恢复后，master发现环境发生改变，master就会把自己的身份转换成slave master变成slave后会把网络故障那段时间写入自己中的数据清掉，这样数据就丢失了。

解决： master在被写入数据时会持续连接slave，mater确保有2个slave可以写入我才允许写入如果slave数量少于2个便拒绝写入

[root@redis-node3 redis]# redis-cli
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "0"
127.0.0.1:6379> CONFIG set min-slaves-to-write 2
OK
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "2"

七、Redis Cluster：无中心的星系网络

7.1 Redis Cluster工作原理

在哨兵sentinel机制中，可以解决redis高可用问题，即当master故障后可以自动将slave提升为master，从而可以保证redis服务的正常使用，但是无法解决redis单机写入的瓶颈问题，即单机redis写入性能受限于单机的内存大小、并发数量、网卡速率等因素。

redis 3.0版本之后推出了无中心架构的redis cluster机制，在无中心的redis集群当中，其每个节点保存当前节点数据和整个集群状态,每个节点都和其他所有节点连接

Redis Cluster特点如下

所有Redis节点使用(PING机制)互联
集群中某个节点的是否失效，是由整个集群中超过半数的节点监测都失效，才能算真正的失效
客户端不需要proxy即可直接连接redis，应用程序中需要配置有全部的redis服务器IP
redis cluster把所有的redis node 平均映射到 0-16383个槽位(slot)上，读写需要到指定的redis node上进行操作，因此有多少个redis node相当于redis 并发扩展了多少倍，每个redis node 承担 16384/N个槽位
Redis cluster预先分配16384个(slot)槽位，当需要在redis集群中写入一个key -value的时候，会使用CRC16(key) mod 16384之后的值，决定将key写入值哪一个槽位从而决定写入哪一个Redis节点上，从而有效解决单机瓶颈。

Redis cluster 架构

假如三个主节点分别是：A, B, C 三个节点，采用哈希槽 (hash slot)的方式来分配16384个slot 的话它们三个节点分别承担的slot 区间可以是：

节点A覆盖 0－5460

节点B覆盖 5461－10922

节点C覆盖 10923－16383

Redis cluster 主从架构

Redis cluster的架构虽然解决了并发的问题，但是又引入了一个新的问题，每个Redis master的高可用如何解决？

那就是对每个master 节点都实现主从复制,从而实现 redis 高可用性

Redis Cluster 部署架构说明

7.2 创建Redis Cluster

7.2.1 创建redis cluster的前提

1. 每个redis node节点采用相同的硬件配置、相同的密码、相同的redis版本。

2. 每个节点必须开启的参数

cluster-enabled yes #必须开启集群状态，开启后redis进程会有cluster显示
cluster-config-file nodes-6380.conf #此文件有redis cluster集群自动创建和维护，不需要任何手动操作

3. 所有redis服务器必须没有任何数据

4. 先启动为单机redis且没有任何key value

7.2.2 部署redis cluster

启用多行命令模式，例：xshell 下面三个任选一个

找到工具，选择发送键输入到所有会话。

即可实现同时操作的功能，最后根据需要，选择需要操作的窗口即可。

在所有redis主机中

[root@redis-node1 ~]# vim /etc/redis/redis.conf
masterauth "123456"                     #集群主从认证
requirepass "123456"                    #redis登陆密码，redis-cli命令连接redis后要用“auth 密码”进行认证
cluster-enabled yes                     #开启cluster集群功能
cluster-config-file nodes-6379.conf     #指定集群配置文件
cluster-node-timeout 15000              #节点加入集群的超时时间单位是ms

[root@redis-node1 ~]# systemctl enable --now redis.service
[root@redis-node1 ~]# which redis-cli    #这是修改后的地址
/usr/bin/redis-cli

[root@redis-master1 ~]# redis-cli        #如果登录报错，可能是因为地址不同，退出重登就好
 127.0.0.1:6379> auth 123456             #此时还无法写入，需要登录密码和哈希槽
 OK
 127.0.0.1:6379> exit

[root@redis-node1 ~]# for i in 20 30 40 50 60  #将修改的配置文件发送给其他主机
> do 
> scp /etc/redis/redis.conf 172.25.254.$i:/etc/redis/redis.conf 
> done

7.2.3 集群操作命令说明

                     [root@redis-node1 ~]# redis-cli --cluster help
Cluster Manager Commands:
  create         host1:port1 ... hostN:portN                 #创建集群
                 --cluster-replicas <arg>                    #指定master的副本数
  check          host:port                                   #检测集群信息

  info           host:port                                   #查看集群信息
  fix            host:port                                   #修复集群

  reshard        host:port                                   #在线热迁移集群指定主机的slots数据

  rebalance      host:port                                   #平衡各集群主机的slot数量

  add-node       new_host:new_port existing_host:existing_port     #添加主机

  del-node       host:port node_id                           #删除主机
  call           host:port command arg arg .. arg

  set-timeout    host:port milliseconds
  import         host:port                                   #导入外部redis服务器的数据到当前集群

7.2.4 创建redis-cluster

[root@redis-node1 ~]#  redis-cli  --cluster create -a 123456 \
>  172.25.254.10:6379 172.25.254.20:6379 172.25.254.30:6379 \
> 172.25.254.40:6379 172.25.254.50:6379 172.25.254.60:6379 \
> --cluster-replicas 1
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460                    #哈希槽分配
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 172.25.254.50:6379 to 172.25.254.10:6379          #主从分配情况
Adding replica 172.25.254.60:6379 to 172.25.254.20:6379
Adding replica 172.25.254.40:6379 to 172.25.254.30:6379
M: dfd5c90e6e31e36309c418e30805f41022f5fa31 172.25.254.10:6379
   slots:[0-5460] (5461 slots) master
M: c916838d6998c6cafbc0e48b77aeb5e98348638d 172.25.254.20:6379
   slots:[5461-10922] (5462 slots) master
M: 313ed7f5fae4414b33f9727d970ceda8b23ddac3 172.25.254.30:6379
   slots:[10923-16383] (5461 slots) master
S: a4828e896d5724be90843414af61da2b6295adb3 172.25.254.40:6379
   replicates 313ed7f5fae4414b33f9727d970ceda8b23ddac3
S: 0b59b4fbdf898da95d2cd26995103d15f11cf307 172.25.254.50:6379
   replicates dfd5c90e6e31e36309c418e30805f41022f5fa31
S: e8540d1fdf291b4efe415bda7d10257c93bb458a 172.25.254.60:6379
   replicates c916838d6998c6cafbc0e48b77aeb5e98348638d
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
.
>>> Performing Cluster Check (using node 172.25.254.10:6379)
M: dfd5c90e6e31e36309c418e30805f41022f5fa31 172.25.254.10:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: e8540d1fdf291b4efe415bda7d10257c93bb458a 172.25.254.60:6379
   slots: (0 slots) slave
   replicates c916838d6998c6cafbc0e48b77aeb5e98348638d
M: 313ed7f5fae4414b33f9727d970ceda8b23ddac3 172.25.254.30:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: a4828e896d5724be90843414af61da2b6295adb3 172.25.254.40:6379
   slots: (0 slots) slave
   replicates 313ed7f5fae4414b33f9727d970ceda8b23ddac3
S: 0b59b4fbdf898da95d2cd26995103d15f11cf307 172.25.254.50:6379
   slots: (0 slots) slave
   replicates dfd5c90e6e31e36309c418e30805f41022f5fa31
M: c916838d6998c6cafbc0e48b77aeb5e98348638d 172.25.254.20:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...                    #检查打开的哈希槽位
>>> Check slots coverage...                    #检查槽位覆盖范围
[OK] All 16384 slots covered.                  #所有槽位分配完成

检测redis集群状态

[root@redis-node1 ~]#  redis-cli  -a 123456 --cluster info  172.25.254.10:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
172.25.254.10:6379 (dfd5c90e...) -> 0 keys | 5461 slots | 1 slaves.
172.25.254.30:6379 (313ed7f5...) -> 0 keys | 5461 slots | 1 slaves.
172.25.254.20:6379 (c916838d...) -> 0 keys | 5462 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.

[root@redis-node1 ~]#  redis-cli -a 123456  cluster info
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:850
cluster_stats_messages_pong_sent:746
cluster_stats_messages_sent:1596
cluster_stats_messages_ping_received:741
cluster_stats_messages_pong_received:850
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:1596

写入数据

[root@redis-node1 ~]# redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> set name lee            #被分配到20的hash槽位上
(error) MOVED 5798 172.25.254.20:6379


[root@redis-node2 ~]# redis-cli -a 123456
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> set name lee
OK

7.3 集群扩容与维护

7.3.1 集群扩容

#添加master
[root@redis-node1 ~]# redis-cli -a 123456 --cluster add-node 172.25.254.70:6379 172.25.254.10:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Adding node 172.25.254.70:6379 to cluster 172.25.254.10:6379
>>> Performing Cluster Check (using node 172.25.254.10:6379)
M: dfd5c90e6e31e36309c418e30805f41022f5fa31 172.25.254.10:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: e8540d1fdf291b4efe415bda7d10257c93bb458a 172.25.254.60:6379
   slots: (0 slots) slave
   replicates c916838d6998c6cafbc0e48b77aeb5e98348638d
M: 313ed7f5fae4414b33f9727d970ceda8b23ddac3 172.25.254.30:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: a4828e896d5724be90843414af61da2b6295adb3 172.25.254.40:6379
   slots: (0 slots) slave
   replicates 313ed7f5fae4414b33f9727d970ceda8b23ddac3
S: 0b59b4fbdf898da95d2cd26995103d15f11cf307 172.25.254.50:6379
   slots: (0 slots) slave
   replicates dfd5c90e6e31e36309c418e30805f41022f5fa31
M: c916838d6998c6cafbc0e48b77aeb5e98348638d 172.25.254.20:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
>>> Send CLUSTER MEET to node 172.25.254.70:6379 to make it join the cluster.
[OK] New node added correctly.

[root@redis-node1 ~]#  redis-cli  -a 123456 --cluster info 172.25.254.10:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
172.25.254.10:6379 (dfd5c90e...) -> 0 keys | 5461 slots | 1 slaves.
172.25.254.70:6379 (5d5406d0...) -> 0 keys | 0 slots | 0 slaves.
172.25.254.30:6379 (313ed7f5...) -> 0 keys | 5461 slots | 1 slaves.
172.25.254.20:6379 (c916838d...) -> 1 keys | 5462 slots | 1 slaves.
[OK] 1 keys in 4 masters.
0.00 keys per slot on average.

 #分配槽位
[root@redis-node1 ~]#  redis-cli  -a 123456 --cluster reshard 172.25.254.10:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing Cluster Check (using node 172.25.254.10:6379)
M: dfd5c90e6e31e36309c418e30805f41022f5fa31 172.25.254.10:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: e8540d1fdf291b4efe415bda7d10257c93bb458a 172.25.254.60:6379
   slots: (0 slots) slave
   replicates c916838d6998c6cafbc0e48b77aeb5e98348638d
M: 5d5406d0133ecc40c0a1ef5ab6ce22fd50427689 172.25.254.70:6379
   slots: (0 slots) master
M: 313ed7f5fae4414b33f9727d970ceda8b23ddac3 172.25.254.30:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: a4828e896d5724be90843414af61da2b6295adb3 172.25.254.40:6379
   slots: (0 slots) slave
   replicates 313ed7f5fae4414b33f9727d970ceda8b23ddac3
S: 0b59b4fbdf898da95d2cd26995103d15f11cf307 172.25.254.50:6379
   slots: (0 slots) slave
   replicates dfd5c90e6e31e36309c418e30805f41022f5fa31
M: c916838d6998c6cafbc0e48b77aeb5e98348638d 172.25.254.20:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
How many slots do you want to move (from 1 to 16384)? 4096
What is the receiving node ID? 5d5406d0133ecc40c0a1ef5ab6ce22fd50427689
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1: all

Do you want to proceed with the proposed reshard plan (yes/no)? yes


 #添加salve
[root@redis-node1 ~]#  redis-cli -a 123456 --cluster  add-node 172.25.254.80:6379 172.25.254.10:6379 --cluster-slave --cluster-master-id 5d5406d0133ecc40c0a1ef5ab6ce22fd50427689
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Adding node 172.25.254.80:6379 to cluster 172.25.254.10:6379
>>> Performing Cluster Check (using node 172.25.254.10:6379)
M: dfd5c90e6e31e36309c418e30805f41022f5fa31 172.25.254.10:6379
   slots:[1365-5460] (4096 slots) master
   1 additional replica(s)
S: e8540d1fdf291b4efe415bda7d10257c93bb458a 172.25.254.60:6379
   slots: (0 slots) slave
   replicates c916838d6998c6cafbc0e48b77aeb5e98348638d
M: 5d5406d0133ecc40c0a1ef5ab6ce22fd50427689 172.25.254.70:6379
   slots:[0-1364],[5461-6826],[10923-12287] (4096 slots) master
M: 313ed7f5fae4414b33f9727d970ceda8b23ddac3 172.25.254.30:6379
   slots:[12288-16383] (4096 slots) master
   1 additional replica(s)
S: a4828e896d5724be90843414af61da2b6295adb3 172.25.254.40:6379
   slots: (0 slots) slave
   replicates 313ed7f5fae4414b33f9727d970ceda8b23ddac3
S: 0b59b4fbdf898da95d2cd26995103d15f11cf307 172.25.254.50:6379
   slots: (0 slots) slave
   replicates dfd5c90e6e31e36309c418e30805f41022f5fa31
M: c916838d6998c6cafbc0e48b77aeb5e98348638d 172.25.254.20:6379
   slots:[6827-10922] (4096 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
>>> Send CLUSTER MEET to node 172.25.254.80:6379 to make it join the cluster.
Waiting for the cluster to join

>>> Configure node as replica of 172.25.254.70:6379.
[OK] New node added correctly.

7.3.2 测试

四主四从，都有槽位

7.3.3 clsuter集群维护

添加节点的时候是先添加node节点到集群，然后分配槽位，删除节点的操作与添加节点的操作正好相反，是先将被删除的Redis node上的槽位迁移到集群中的其他Redis node节点上，然后再将其删除，如果一个Redis node节点上的槽位没有被完全迁移，删除该node的时候会提示有数据且无法删除。

#移除要下线主机的哈希槽位，例将40的槽位给20，第一个id填20的，第二个填40的
[root@redis-node1 ~]#  redis-cli  -a 123456 --cluster reshard 172.25.254.10:6379
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing Cluster Check (using node 172.25.254.10:6379)
M: dfd5c90e6e31e36309c418e30805f41022f5fa31 172.25.254.10:6379
   slots:[1365-5460] (4096 slots) master
   1 additional replica(s)
S: e8540d1fdf291b4efe415bda7d10257c93bb458a 172.25.254.60:6379
   slots: (0 slots) slave
   replicates c916838d6998c6cafbc0e48b77aeb5e98348638d
S: bbc64ebc3f196524c1549cabb61067ffdd8beb15 172.25.254.80:6379
   slots: (0 slots) slave
   replicates 5d5406d0133ecc40c0a1ef5ab6ce22fd50427689
M: 5d5406d0133ecc40c0a1ef5ab6ce22fd50427689 172.25.254.70:6379
   slots:[0-1364],[5461-6826],[10923-12287] (4096 slots) master
   1 additional replica(s)
M: 313ed7f5fae4414b33f9727d970ceda8b23ddac3 172.25.254.30:6379
   slots:[12288-16383] (4096 slots) master
   1 additional replica(s)
S: a4828e896d5724be90843414af61da2b6295adb3 172.25.254.40:6379
   slots: (0 slots) slave
   replicates 313ed7f5fae4414b33f9727d970ceda8b23ddac3
S: 0b59b4fbdf898da95d2cd26995103d15f11cf307 172.25.254.50:6379
   slots: (0 slots) slave
   replicates dfd5c90e6e31e36309c418e30805f41022f5fa31
M: c916838d6998c6cafbc0e48b77aeb5e98348638d 172.25.254.20:6379
   slots:[6827-10922] (4096 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
How many slots do you want to move (from 1 to 16384)? 4096
What is the receiving node ID? c916838d6998c6cafbc0e48b77aeb5e98348638d
Please enter all the source node IDs.
  Type 'all' to use all the nodes as source nodes for the hash slots.
  Type 'done' once you entered all the source nodes IDs.
Source node #1: 5d5406d0133ecc40c0a1ef5ab6ce22fd50427689
Source node #2: done


#删除slave和master
[root@redis-node1 ~]#  redis-cli  -a 123456 --cluster del-node 172.25.254.70:6379 5d5406d0133ecc40c0a1ef5ab6ce22fd50427689
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Removing node 5d5406d0133ecc40c0a1ef5ab6ce22fd50427689 from cluster 172.25.254.70:6379
>>> Sending CLUSTER FORGET messages to the cluster...
>>> Sending CLUSTER RESET SOFT to the deleted node.

[root@redis-node1 ~]#  redis-cli  -a 123456 --cluster del-node 172.25.254.80:6379 bbc64ebc3f196524c1549cabb61067ffdd8beb15
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Removing node bbc64ebc3f196524c1549cabb61067ffdd8beb15 from cluster 172.25.254.80:6379
>>> Sending CLUSTER FORGET messages to the cluster...
>>> Sending CLUSTER RESET SOFT to the deleted node.

7.3.4 测试

八、结语

在你探索 Redis 这个强大的 NoSQL 数据库的过程中，我们共同经历了从基础到高级特性的学习旅程。感谢你跟随我一起深入了解 Redis 的各种功能，包括数据结构、持久化、复制、哨兵系统以及集群部署等。这些知识不仅为你提供了构建高性能、高可用性和可扩展性应用的基石，也为你解决实际问题提供了丰富的工具和策略。

无论你是刚开始接触 Redis，还是已经在使用中寻找更深层次的理解，我都希望这个旅程能够帮助你解锁更多的潜力，并在实际应用中发挥 Redis 的最大价值。记住，技术的学习永无止境，Redis 也在不断发展和更新，持续关注其最新动态和社区讨论将有助于你保持知识的更新。

保持好奇心，继续前行，我们的数据之旅才刚刚开始。再见！

洋芋土豆

关注

13
点赞
踩
19

收藏

觉得还不错? 一键收藏
0
评论
Redis Universe: 探索无边界的数据处理星系

关系型数据库，是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库。NoSQL 数据库，全称为 Not Only SQL，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。
复制链接

扫一扫

	关系型数据库	NoSQL数据库
特点	数据关系模型基于关系模型，结构化存储，完整性约束基于二维表及其之间的联系，需要连接、并、交、差、除等数据操作采用结构化的查询语言(SQL)做数据读写操作需要数据的一致性，需要事务甚至是强一致性	非结构化的存储基于多维关系模型具有特有的使用场景
优点	保持数据的一致性(事务处理) 可以进行 join 等复杂查询通用化，技术成熟	高并发，大数据下读写能力较强基本支持分布式，易于扩展，可伸缩简单，弱结构化存储
缺点	数据读写必须经过 sq\| 解析，大量数据、高并发下读写性能不足对数据做读写，或修改数据结构时需要加锁，影响并发操作无法适应非结构化存储扩展困难昂贵、复杂	join 等复杂操作能力较弱事务支持较弱通用性差无完整约束复杂业务场景支持较差