redis-sentinel（哨兵） && redis-cluster(集群)部署

最新推荐文章于 2024-04-26 22:32:00 发布
最新推荐文章于 2024-04-26 22:32:00 发布
阅读量446 收藏
点赞数
分类专栏： Linux运维 文章标签： redis nosql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iboyish/article/details/109276094
版权
本文详细介绍了Redis的持久化机制RDB和AOF的优缺点，以及主从复制的全量和增量同步过程。接着，重点讲解了Redis Sentinel哨兵系统的原理与配置，包括哨兵如何监控主从节点状态以及故障转移机制。最后，阐述了Redis Cluster集群的创建与使用，包括节点的环境准备、集群配置、故障自动恢复等。
摘要由CSDN通过智能技术生成

1、RDB和AOF的优缺点

（1）RDB 模式优缺点

  • RDB快照保存了某个时间点的数据，可以通过脚本执行redis指令bgsave(非阻塞，后台执行)或者save(会阻塞写操作,不推荐)命令自定义时间点备份，可以保留多个备份，当出现问题可以恢复到不同时间点的版本,很适合备份,并且此文件格式也支持有不少第三方工具可以进行后续的数据分析

    比如: 可以在最近的24小时内，每小时备份一次RDB文件，并且在每个月的每一天，也备份一个ROB文件。这样的话，即使遇上问题，也可以随时将数据集还原到不同的版本。

  • RDB可以最大化Redis的性能，父进程在保存 RDB文件时唯一要做的就是fork出一个子进程，然后这个子进程就会处理接下来的所有保存工作，父进程无须执行任何磁盘 I/O 操作。

  • RDB在大量数据,比如几个G的数据，恢复的速度比AOF的快

（2）AOF 模式优缺点

  • 不能实时保存数据，可能会丢失自上一次执行RDB备份到当前的内存数据

    如果你需要尽量避免在服务器故障时丢失数据，那么RDB不适合你。虽然Redis允许你设置不同的保存点（save point）来控制保存RDB文件的频率，但是，因为ROB文件需要保存整个数据集的状态，所以它并不是一个轻松的操作。因此你可能会至少5分钟才保存一次RDB文件。在这种情况下，一旦发生故障停机，你就可能会丢失好几分钟的数据。

  • 当数据量非常大的时候，从父进程fork子进程进行保存至RDB文件时需要一点时间，可能是毫秒或者秒，取决于磁盘IO性能在数据集比较庞大时，fork()可能会非常耗时，造成服务器在一定时间内停止处理客户端﹔

    如果数据集非常巨大，并且CPU时间非常紧张的话，那么这种停止时间甚至可能会长达整整一秒或更久。虽然 AOF重写也需要进行fork()，但无论AOF重写的执行间隔有多长，数据的持久性都不会有任何损失。

2、master和slave同步过程

Redis主从复制分为全量同步和增量同步

2.1 全量复制过程

在这里插入图片描述

首次同步是全量同步，主从同步可以让从服务器从主服务器同步数据，而且从服务器还可再有其它的从服务器，即另外一台redis服务器可以从一台从服务器进行数据同步，redis 的主从同步是非阻塞的，master收到从服务器的psync(2.8版本之前是SYNC)命令,会fork一个子进程在后台执行bgsave命令，并将新写入的数据写入到一个缓冲区中，bgsave执行完成之后,将生成的RDB文件发送给slave，然后master再将缓冲区的内容以redis协议格式再全部发送给slave，slave 先删除旧数据,slave将收到后的RDB文件载入自己的内存，再加载所有收到缓冲区的内容 从而这样一次完整的数据同步Redis全量复制一般发生在Slave首次初始化阶段，这时Slave需要将Master上的所有数据都复制一份。

2.2 增量复制过程

在这里插入图片描述

全量同步之后再次需要同步时,从服务器只要发送当前的offset位置(等同于MySQL的binlog的位置)给主服务器，然后主服务器根据相应的位置将之后的数据(包括写在缓冲区的积压数据)发送给从服务器,再次其保存到其内存即可。

2.3 主从同步完整过程

  1. 从服务器连接主服务器，发送PSYNC命令
  2. 主服务器接收到PSYNC命令后，开始执行BGSAVE命令生成RDB快照文件并使用缓冲区记录此后执行的所有写命令
  3. 主服务器BGSAVE执行完后，向所有从服务器发送RDB快照文件，并在发送期间继续记录被执行的写命令
  4. 从服务器收到快照文件后丢弃所有旧数据，载入收到的快照至内存
  5. 主服务器快照发送完毕后,开始向从服务器发送缓冲区中的写命令
  6. 从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令
  7. 后期同步会先发送自己slave_repl_offset位置，只同步新增加的数据，不再全量同步

3、哨兵的使用和实现机制

Sentinel(哨兵)进程是用于监控redis集群中Master主服务器工作的状态，在Master主服务器发生故障的时候，可以实现Master和Slave服务器的切换，保证系统的高可用

哨兵(Sentinel) 是一个分布式系统，可以在一个架构中运行多个哨兵(sentinel) 进程，这些进程使用流言协议(gossip protocols)来接收关于Master主服务器是否下线的信息，并使用投票协议(Agreement Protocols)来决定是否执行自动故障迁移,以及选择哪个Slave作为新的Master。每个哨兵(Sentinel)进程会向其它哨兵(Sentinel)、Master、Slave定时发送消息，以确认对方是否”活”着，如果发现对方在指定配置时间(此项可配置)内未得到回应，则暂时认为对方已离线，也就是所谓的”主观认为宕机” (主观:是每个成员都具有的独自的而且可能相同也可能不同的意识)，英文名称：Subjective Down，简称SDOWN

主观宕机，对应的有客观宕机。当“哨兵群”中的多数Sentinel进程在对Master主服务器做出SDOWN 的判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Server下线判断，这种方式就是“客观宕机”(客观:是不依赖于某种意识而已经实际存在的一切事物)，英文名称是：Objectively Down， 简称 ODOWN

通过一定的vote算法，从剩下的slave从服务器节点中，选一台提升为Master服务器节点，然后自动修改相关配置，并开启故障转移（failover）

3.1 实现哨兵

在这里插入图片描述

3.1.1 哨兵的准备–实现主从复制架构

哨兵的前提是已经实现了一个redis的主从复制的运行环境，从而实现一个一主两从基于哨兵的高可用redis架构

注意: master 的配置文件中masterauth 和slave 都必须相同

— 所有主从节点的redis.conf中关健配置

master:

[root@master ~]#dnf -y install redis
[root@master ~]#vim /etc/redis.conf
bind 0.0.0.0
masterauth "123456"
requirepass "123456"
#或者非交互执行
[root@master ~]#sed -i -e 's/bind 127.0.0.1/bind 0.0.0.0/' -e 's/^# masterauth .*/masterauth 123456/' -e 's/^# requirepass .*/requirepass 123456/' /etc/redis.conf

[root@master ~]#systemctl enable --now redis

salve 两个slave相同配置

[root@slave ~]#dnf -y install redis
[root@slave ~]#vim /etc/redis.conf
bind 0.0.0.0
masterauth "123456"
requirepass "123456"
replicaof 10.0.0.8 6379
#或者非交互执行
[root@slave ~]#sed -i -e 's/bind 127.0.0.1/bind 0.0.0.0/' -e 's/^# masterauth .*/masterauth 123456/' -e 's/^# requirepass .*/requirepass 123456/' -e '/^# replicaof/a replicaof 10.0.0.8 6379' /etc/redis.conf

[root@slave ~]#systemctl enable --now redis

3.1.2 编辑哨兵的配置文件

sentinel配置

Sentinel实际上是一个特殊的redis服务器,有些redis指令支持,但很多指令并不支持.默认监听在26379/tcp端口.

哨兵可以不和Redis服务器部署在一起，但一般部署在一起，所有redis节点使用相同的以下示例的配置文件

三个哨兵服务器的配置都如下:

[root@redis-master ~]#grep -vE "^#|^$" /etc/redis-sentinel.conf 
port 26379
daemonize no
pidfile "/var/run/redis-sentinel.pid"
logfile "/var/log/redis/sentinel.log"
dir "/tmp"
sentinel monitor mymaster 10.0.0.8 6379 2      #修改此行
sentinel auth-pass mymaster 123456             #增加此行
sentinel down-after-milliseconds mymaster 3000 #修改此行
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000
sentinel deny-scripts-reconfig yes
#以下内容自动生成，不需要修改
sentinel myid 50547f34ed71fd48c197924969937e738a39975b  #此行自动生成必须唯一,修改此值需重启redis和sentinel服务
最低0.47元/天 解锁文章
i_boyish
关注
专栏目录
Redis Sentinel 与 Redis Cluster
只有想不到没有做不到，程序的力量。。。
07-26 7万+
一、前言 互联网高速发展的今天，对应用系统的抗压能力要求越来越高，传统的应用层+数据库已经不能满足当前的需要。所以一大批内存式数据库和Nosql数据库应运而生，其中redis,memcache,mongodb,hbase等被广泛的使用来提高系统的吞吐性，所以如何正确使用cache是作为开发的一项基技能。本文主要介绍Redis Sentinel 及 Redis Cluster的区别及用法，Redi...
10.23redis作业
mqs915860370的博客
10-26 365
1、RDB和AOF的优缺点 RDB 优点 1. RDB快照保存了某个时间点的数据，可以通过脚本执行redis指令bgsave（非阻塞，后台执行）或者save（会阻塞写操作，不推荐）命令自定义时间点备份，可以保留对个备份，当出现问题可以恢复到不同时间点的版本，很适合备份，并且此文件格式也支持有不少第三方工具可以进行后续的数据分析 比如：可以在最近的24小时内，每小时备份一次RDB文件，并且在每个月的每一填，也备份一个RDB文件。这样的话，即使遇上问题，也可以随时将数据还原到不同的版本 2. RDB可以最大化r
数据库redis作业
weixin_55822200的博客
07-22 360
在Redis中，可以对String类型的值进行各种操作，如set、get、incr、append等，同时支持字符串的位操作。后面在目录里就可以看见生成了一个appendonlydir目录，这个目录就是aof文件存放的默认目录，进入目录里，可以看见aof文件。根据redis.conf中的配置，快照将保存在dir选项指定的路径上，我们可以修改为指定目录，默认是根目录。如果不存在k1、k2（需都成立），则设置k1的value为v1、k2的value为v2。
Redis学习小作业
zms9527的博客
11-13 319
交作业 Redis 修改抢选课 1.曾经的项目是所有的查询和新增都直接读写数据库 2.学习了Redis尝试去改造一下 基本流程 图片: 大体流程就是就是这样，我改造的是学生选课部分。 开始 学生查询课程信息 学生频繁查询课程信息列表 ， 对课程信息列表做了缓存 把课程id 作为key，上限人数作业value //当课程信息的缓存不在的时候把信息保存到redis if(!jedis.exists(...
redis-第一节作业
L_summer1989的博客
06-01 153
#信息添加 功能：设置 key，value 数据 set key value #范例 set name itheima #信息查询 功能：根据 key 查询对应的 value，如果不存在，返回空（nil） get key #范例 get name #整体例子 set age 100 get age #清除屏幕信息 功能：清除屏幕中的信息 clear #退出客户端命令行模式 功能：退出客户端 quit exit < ESC > #帮助 功能：获取命令帮助文档，获取组中所有命令信息名称 help.
docker部署redis-sentinel(一主二从三哨兵)
p393975269的博客
03-02 797
docker部署redis-sentinel(一主二从三哨兵) java代码访问测试故障转移
redis-sentinel-bin.7z
08-03
下面将详细介绍Redis Sentinel、哨兵集群部署、Redis集群配置、RDB和AOF的相关知识点。 **Redis Sentinel** Redis Sentinel是Redis的高可用性（HA）组件，它监控主从复制结构中的Redis服务器，当检测到主服务器...
Redis-Cluster集群
shuanglongman5531的博客
10-19 3508
Redis-Cluster集群 Redis-Cluster集群简介 一、Redis-Cluster集群介绍 1、redis cluster集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。 2、Redis cluster集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点。 3、高达 1000 个节点的高性能和线性可扩展性。没有代理，使用异步复制，并且不对值执行合并操作。 二、为何使用Redis-.
Redis 6 redis-cluster-proxy 集群代理使用
yangyun901222的博客
10-16 2100
redis-cluster-proxy
Redis大数据作业——-RedisCluster
weixin_41496763的博客
06-23 285
1、创建redis集群目录 [root@linux123 servers]# mkdir redis-cluster-task [root@linux123 servers]# cd redis-cluster-task/ [root@linux123 redis-cluster-task]# mkdir Master1 [root@linux123 redis-cluster-task]# mkdir Master2 [root@linux123 redis-cluster-task]# mkdir
redis作业
最新发布
三思博客
04-26 411
redis作业 1.部署一个redis 给开发使用 redis源码包官方下载：http://download.redis.io/releases/ ------------------------------------------------------------------------------------ ...
黑马Redis实战课后作业
qq_52783916的博客
05-03 209
redis实战小练习
五、安装Redis（第五次作业）
weixin_42609417的博客
05-27 183
官网下载教程https://redis.io/download
Redis基本操作练习
javaThinker的专栏
11-04 393
1、数据类型 Redis string hash list set sorted_set Java String HashMap LinkedList HashSet TreeSet 可以用Java的类型来类比一下Redis的类型，只是类似 2、操作 （2.1）String操作 set/get # set/get set key value get key delete key mset/mget # mset/mget mset key1 value1 key2 value2 .
redis集群（redis + cluster + sentinel）
w_wensan的博客
03-01 6004
redis集群（redis + cluster + sentinel） 概述说明 说明：本次实验采用c1、c2、c3三台虚拟机完成，每台服务器上都部署一个master、一个slave和一个sentinel。当某主节点的挂了，相应的从节点替位；当某主节点及主节点对应的从节点同时挂了，将造成数据的丢失！故生产环境都采用一主多从的集群模式！ 搭建环境 服务器信息如下...
redis集群部署（Redis+Cluster or Redis+Sentinel）
qq_37139220的博客
08-30 273
~~ redis集群部署（Redis+Cluster or Redis+Sentinel） 目录 概述说明 搭建环境 redis cluster sentinel 故障模拟 报错说明 回到顶部 概述说明 # 声明 1、方案A（Redis+Cluster）和方案B（Redis+Sentinel）都能实现Redis的高可用； 2、在多个redis实例正常启动后，方案A进行Cluster...
聊一聊Redis的Sentinel与Cluster
OrangeRawNorthland的博客
05-29 1504
文章目录哨兵模式什么是哨兵模式？哨兵模式的小细节哨兵是如何去监控这些节点的哨兵模式的下线模式哨兵模式的选举消息丢失Cluster模式什么是cluster模式？cluster模式的缺点cluster的启动流程Gossip协议Gossip协议的消息集群的伸缩Client是如何操作Cluster的Sentinel与Cluster的比较参考文献 哨兵模式 什么是哨兵模式？ 它是Redis的一种高可用架构，遵循CAP原则中的CP原则。我们在这里其实就可以把它看作为一个Zookeeper的集群，一般由3个以上的节点组成
Mongodb分片环境搭建和验证（redis期末大作业）
weixin_56115549的博客
06-25 825
总体实验步骤：环境准备——》部署Mongodb——》部署Config Server——》部署Shard——》部署mongos——》启动分片功能——》分片基本操作和功能验证目录实验操作代码：配置文件和安装包和安装流程PDF： ​​​​​​资源下载处环境准备部署Mongodb部署Config Server 部署Shard部署mongos启动分片功能分片基本操作和功能验证 配置文件和安装包和安装流程PDF： ​​​​​​资源下载处 资源说明：分片的conf配置文件共14个，3个主机每个主机3个shard配置
基于Redis的作业执行设计总结
weixin_34033624的博客
04-09 174
为什么80%的码农都做不了架构师？>>> ...
Redis演进与Redis-Cluster集群读写策略
- Redis-cluster是官方提供的分布式集群解决方案，它将数据分布于多个节点，实现了数据分区和容错。每个节点都包含一部分键空间，且能处理对这些键的操作。官方默认不推荐在cluster中进行读写分离，因为每个节点都...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值