分布式缓存 -- Redis -- 集群搭建（主从、哨兵、分片）

最新推荐文章于 2024-09-23 09:39:52 发布
最新推荐文章于 2024-09-23 09:39:52 发布
阅读量760 收藏 2
点赞数 1
文章标签： redis 缓存 分布式 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Peng_zhj/article/details/124959429
版权

基于CentOS7下的Redis集群教程，包括：

  • 单机安装Redis
  • Redis主从
  • Redis分片集群

单机安装Redis

首先需要安装Redis所需要的依赖：

yum install -y gcc tcl

在这里插入图片描述

解压缩：

tar -zxvf redis-6.2.4.tar.gz

解压后：

在这里插入图片描述

进入redis目录：

cd redis-6.2.4

运行编译命令：

make && make install

如果没有出错，应该就安装成功了。

redis-cli redis-server

默认安装位置/usr/local/bin，相当于配置了环境变量，这样就可以在任意目录下执行redis工具 redis-server redis-cli

单节点配置：

# 启动单节点的redis
mkdir single
cd single/
# 复制redis.conf文件到当前目录
cp ../redis.conf .
# 修改配置
vim redis.conf

配置内容

# 所有主机都可以访问 75行
bind 127.0.0.1 --> bind 0.0.0.0
# 端口 98行
port 6379
# 是否以守护线程方式执行（后台运行） 257行
daemonize no --> daemonize yes
# pid 文件存储位置 用来锁定写操作只有获得该锁的进程才有写入权限 289行
pidfile /var/run/redis_6379.pid
# 日志文件存储位置 302行
logfile ""
# 数据存储的名字 431行
dbfilename 6379.rdb
# 数据存储的路径,当前运行的目录 454行
dir ./

启动Redis：

redis-server redis.conf

查看redis进程

ps -ef|grep redis

通过Redis客户端连接

redis-cli -h IP或者主机名 -p 端口

关闭redis服务

redis-cli shutdown

Redis主从集群

集群结构

我们搭建的主从集群结构如图：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pVgW7Y32-1653441083667)(assets/image-20210630111505799.png)]

共包含三个节点，一个主节点，两个从节点。

这里我们会在同一台虚拟机中开启3个redis实例，模拟主从集群，信息如下：

IPPORT角色
192.168.85.1437001master
192.168.85.1437002slave
192.168.85.1437003slave

准备实例和配置

要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件

复制资料中的 master-slave 文件夹到虚拟机中

配置文件中修改了每个实例的端口、rdb文件保存位置

启动

启动3个redis实例，启动命令：

cd master-slave/
# 第1个
redis-server redis-7001.conf
# 第2个
redis-server redis-7002.conf
# 第3个
redis-server redis-7003.conf

可以使用脚本

start-all.sh启动

stop-all.sh关闭服务

需要在虚拟机中开启脚本运行权限

chmod 777 st*

开启主从关系

现在三个实例还没有任何关系，要配置主从可以使用replicaof 或者slaveof（5.0以前）命令。

有临时和永久两种模式：

slaveof no one

  • 修改配置文件（永久生效） replicaof 127.0.0.1 7001

    • 在redis.conf中添加一行配置：slaveof或replicaof <masterip> <masterport>

      注意：7002-redis.conf和7003-redis.conf的第477行

  • 使用redis-cli客户端连接到redis服务，执行slaveof命令（重启后失效）：

    slaveof <masterip> <masterport>

注意：在5.0以后新增命令replicaof，与salveof效果一致。

如果使用方式二，命令如下。

通过redis-cli命令连接7002，执行下面命令：

# 连接 7002
redis-cli -p 7002
# 执行slaveof
slaveof 127.0.0.1 7001

通过redis-cli命令连接7003，执行下面命令：

# 连接 7003
redis-cli -p 7003
# 执行slaveof
slaveof 127.0.0.1 7001

然后连接 7001节点，查看集群状态：

# 连接 7001
redis-cli -p 7001
# 查看状态
info replication

结果：

在这里插入图片描述

测试

执行下列操作以测试：

  • 利用redis-cli连接7001，执行set num 123
  • 利用redis-cli连接7002，执行get num，再执行set num 666
  • 利用redis-cli连接7003，执行get num，再执行set num 888

可以发现，只有在7001这个master节点上可以执行写操作，7002和7003这两个slave节点只能执行读操作。

搭建哨兵集群

集群结构

这里我们搭建一个三节点形成的Sentinel集群，来监管之前的Redis主从集群。如图：

在这里插入图片描述

三个sentinel实例信息如下：

节点IPPORT
s1192.168.85.14327001
s2192.168.85.14327002
s3192.168.85.14327003

准备实例和配置

要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件：

复制资料中的sentinel 目录到虚拟机中

修改内容

# 修改哨兵配置文件
bind 0.0.0.0
port 27001
daemonize no
pidfile /var/run/redis-sentinel.pid
logfile ""
dir /tmp
# 配置监控数据节点  mymaster是主节点的别名 后面是主机地址 端口 2表示判断主节点故障需要至少2个哨兵节点同意，超过半数同意及判断节点故障，所以一般情况下哨兵节点的个数设置为奇数 84行
sentinel monitor mymaster 192.168.85.143 7001 2
# 哨兵节点定期发送ping命令判断redis数据节点和其他哨兵节点是否可达，如果超过这个时间没有相应，则判断节点不可达，默认是30秒，单位为毫秒 125行
sentinel down-after-milliseconds mymaster 30000
# 故障转移完成后，每次向新的主节点发起复制操作的从节点个数 200行
sentinel parallel-syncs mymaster 1
# 故障转移超时时间，默认3分钟 225行
sentinel failover-timeout mymaster 180000

启动

启动3个redis实例，启动命令：

# 第1个
redis-sentinel sentinel-27001.conf
# 第2个
redis-sentinel sentinel-27002.conf
# 第3个
redis-sentinel sentinel-27003.conf

注意: 设置主从配置后reids会自动更改配置文件中的内容,确保重新复制master-slave中的配置到虚拟机中

测试

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

搭建分片集群

集群结构

分片集群需要的节点数量较多，这里我们搭建一个最小的分片集群，包含3个master节点，每个master包含一个slave节点，结构如下：

在这里插入图片描述

这里我们会在同一台虚拟机中开启6个redis实例，模拟分片集群，信息如下：

角色IPport槽分配说明
master-1192.168.85.1437001{0…5460}主节点
master-2192.168.85.1437002{5461…10922}主节点
master-3192.168.85.1437003{10923…16383}主节点
slave-1192.168.85.1437004从节点
slave-2192.168.85.1437005从节点
slave-3192.168.85.1437006从节点

准备实例和配置

复制资料中的 cluster目录到虚拟机中

主要修改内容如下：

bind 0.0.0.0
port 7001
daemonize yes
pidfile /var/run/redis_cluster_7001.pid
dbfilename 7001.rdb
dir ./
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file nodes-7001.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000

启动

使用脚本开启集群

./start-all.sh
# 通过客户端连接
redis-cli -p 7001
# 查看集群节点信息
cluster nodes

创建集群

虽然服务启动了，但是目前每个服务之间都是独立的，没有任何关联。

我们需要执行命令来创建集群

# 查看命令
redis-cli --cluster help

在这里插入图片描述

然后通过命令来管理集群：

redis-cli --cluster create 192.168.85.143:7001 192.168.85.143:7002 192.168.85.143:7003 192.168.85.143:7004 192.168.85.143:7005 192.168.85.143:7006 --cluster-replicas 1

命令说明：

  • redis-cli --cluster代表集群操作命令
  • create：代表是创建集群
  • --replicas 1或者--cluster-replicas 1 ：指定集群中每个master的副本个数为1，此时节点总数 ÷ (replicas + 1) 得到的就是master的数量。因此节点列表中的前n个就是master，其它节点都是slave节点，随机分配到不同master

在这里插入图片描述

# 输入yes

在这里插入图片描述

查看集群信息

redis-cli -p 7001 cluster nodes

测试

尝试连接7001节点，存储一个数据：

# 连接
redis-cli -p 7001
# 存储数据
set num 123
# 读取数据
get num
# 再次存储
set a 1

结果悲剧了：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kKGKj5YA-1653441083686)(assets/image-20210702182343979.png)]

集群操作时，需要给redis-cli加上-c参数才可以：

redis-cli -c -p 7001

这次可以了：
在这里插入图片描述

卸载redis

1、执行各个文件夹中的 stop-all.sh 脚本

ps -ef | grep redis #确认所有redis已经关闭

3、进入/usr/local/bin/ 删除 redis 相关命令

4、删除解压后的redis文件夹

资源包

压缩包及配置文件：
链接：https://pan.baidu.com/s/1HgcttssT-pjAOB1d70euZg?pwd=9fml
提取码：9fml
–来自百度网盘超级会员V1的分享

Peng_zhj
关注
redis分布式集群搭建
天羽云龙的博客
02-18 1872
CentOS 7 搭建 redis 分布式集群
Redis（主从、哨兵、集群）
weixin_49051298的博客
04-25 7673
一、Redis集群介绍 1.主从复制： 是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 2.哨兵： 在主从复制的基础上，哨兵实现了自动化的故障恢复。缺陷：写操作无法负载均衡；存储能力受到单机的限制；哨兵无法对从节点进行自动故障转移，在读写分离场景下，从节点故障会导致读服务不可用，需要对从节点做额外的监控、切换操作。 3.集群： 通过集群，R
分布式缓存 Redis 集群搭建，这里一次性帮你搞定！
Java知音
04-11 372
作者：Esofarcnblogs.com/esofar/p/10486621.htmlRedis 集群简介Redis Cluster 即 Redis 集群，是 Redis 官方在 3....
【Redis 集群搭建】
最新发布
weixin_43836340的博客
09-23 1549
redis 安装 redis 集群linux 安装
分布式缓存 Redis 集群搭建
dgrvsq1048的博客
03-15 126
Redis 集群简介 Redis Cluster 即 Redis 集群，是 Redis 官方在 3.0 版本推出的一套分布式存储方案。完全去中心化，由多个节点组成，所有节点彼此互联。Redis 客户端可以直接连接任何一节点获取集群中的键值对，不需要中间代理，如果该节点不存在用户所指定的键值，其内部会自动把客户端重定向到键值所在的节点。 Redis 集群是一个网状结构，每个节点都通过 TC...
Redis分布式集群搭建
奇华资料的博客
10-30 316
Redis集群架构图     上图蓝色为redis集群的节点。 节点之间通过ping命令来测试连接是否正常，节点之间没有主区分，连接到任何一个节点进行操作时，都可能会转发到其他节点。 1、Redis的容错机制 节点之间会定时的互相发送ping命令，测试节点的健康状态，当节点接受到ping命令后，会返回一个pong字符串。 投票机制：如果一个节点A给节点B发送ping没有得到pong返...
三分钟快速搭建分布式高可用的Redis集群
热门推荐
万猫学社
04-13 1万+
Redis Cluster是Redis在3.0版本正式推出的专用集群方案，有效地解决了Redis分布式方面的需求，让我们一起快速搭建出分布式高可用的Redis集群吧！
Redis高级篇-分布式缓存-Redis分片集群
m0_73499047的博客
08-28 109
主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决：海量数据存储问题高并发写的问题使用分片集群可以解决上述问题，如图:分片集群特征：集群中有多个master，每个master保存不同数据每个master都可以有多个slave节点master之间通过ping监测彼此健康状态客户端请求可以访问集群任意节点，最终都会被转发到正确节点。
Centos7＋ redis7搭建主从＋哨兵模式超详细教程攻略
十二
07-19 1466
Centos7＋ Redis7搭建主从＋哨兵模式超详细教程攻略
全网最详细的Redis安装、集群搭建、主从复制、哨兵，看完这一篇就够了（详细的图文讲解）
weixin_42188778的博客
04-16 540
Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库，并提供多种语言的 API。 Redis 通常被称为数据结构服务器，因为值（value）可以是字符串(String)、哈希(Hash)、列表(list)、集合(sets)和有序集合(sorted sets)等类型。
Redis 的分布式缓存
古城的博客
07-17 1667
如果master继续写入新数据，其offset就会覆盖旧的数据，直到将slave现在的offset也覆盖，那么此时如果slave想要恢复，就需要同步，却发现自己的offset都没有了，无法完成增量同步了。哨兵模式就是一种特殊的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程，作为进程，它会独立运行。主从模式很好的解决了数据备份问题，并且由于主从服务数据几乎是一致的，因而可以将写入数据的命令发送给主机执行，而读取数据的命令发送给不同的从机执行，从而达到读写分离的目的。......
Redis分布式搭建
02-09
redis-3.0.0.tar.gz、redis-3.0.0.gem 、工具类、测试代码搭建Redis集群所需要的文件，，redis图形化界面，window版redis，secureCRT注册机，HttpClient 4.3教程.pdf。
搭建Redis缓存高可用集群环境搭建
10-23
附件详细阐述了Redis搭建集群环境的详细步骤，如果有需要的朋友可以参考下。
【分布式系统】分布式缓存Redis集群原理与环境搭建
蜗牛的高铁
12-07 674
十年前做项目的时候基本都是单体应用开发，那个时候缓存基本都是使用JVM的内存，后来随着应用的拆分，我们使用独立的缓存服务器，一开始主要是存储会话数据，后来将一些不常改变但是经常使用的字典数据也使用缓存存储。如果只是使用一个存储节点，对于中小项目来说是够用的，即使抛开缓存大小的问题但也面临着高可用的问题，所以本文就Redis缓存的扩展性和可用性深入研究一下。
redis 集群搭建_Redis分布式缓存分布式集群搭建
weixin_39789042的博客
11-26 138
当你试图解决一个你不理解的问题时,复杂化就产成了。—Andy BootheRedis集群安装部署Redis是一个运行在内存的非关系型数据库，因为其速度快(效率高)，支持数据的持久化(安全)，事务操作的原子性(所有操作的原子性)，使得其在高并发场景下广泛使用。Redis也常常在高并发场景下作为缓存服务器的角色进行使用，在《大型网站技术架构：核心原理与案例分析》中提到：高并发场景下性能的优化...
redis分布式集群环境搭建
S mile0804的博客
06-05 1574
redis 分布式集群可分为主从集群、哨兵集群、分片集群，本片文章我们就来分别介绍这三种集群环境的搭建。 本次搭建环境为 Linux 虚拟机系统。 在搭建 redis集群之前，需要先在 linux 系统中安装部署单机的 redis（安装目录为： /usr/local/src ），其详细步骤可点击如下链接：Linux云服务器安装部署redis详细步骤我们搭建的主从集群结构如图： 共包含三个节点，一个主节点，两个从节点（主节点用于写操作，从节点只能进行读操作）。这里我们会在同一台虚拟
redis主从集群搭建及容灾部署
liuwei063608的专栏
01-14 7206
转自http://www.cnblogs.com/linuxbug/p/5131504.html Redis也用了一段时间了，记录一下相关集群搭建及配置详解，方便后续使用查阅。 提纲 l  Redis安装 l  整体架构 l  Redis主从结构搭建 l  Redis容灾部署（哨兵sentinel） l  Redis常见问题 Redis安装 发行版：CentOS-6.6
Window平台搭建Redis分布式缓存集群 （一）服务器搭建及性能测试
weixin_33881140的博客
11-19 176
百度定义：Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型），为了保证效率，数据都是缓存在内存中。 区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录...
如何通过 Redis 构建分布式缓存技术
技术杂谈
01-25 3416
本文来自作者 默默 在 GitChat 上分享 「如何通过 Redis 构建分布式缓存技术」，「阅读原文」查看交流实录。「文末高能」编辑 | 哈比Redis 基础Redis 是基于内存的，存储形式为 key-value 的非关系型数据库，它的 value 不仅包括基本的 string 类型，还有 list、set、sorted set 和 hash 类型。Redis 其实也是一种缓存机制，缓存一般
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值