Redis高可用、持久化及性能管理

50 篇文章 3 订阅
3 篇文章 0 订阅

文章目录

一、Redis高可用

1、概述

(1)在web服务器中,高可用是指服务器可以正常访问的时间,衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99%、99.999%等等)
(2)但是在Redis语境中,高可用的含义似乎要宽泛一些,除了保证提供正常服务(如主从分离、快速容灾技术),还需要考虑数据容量的扩展、数据安全不会丢失等

2、高可用技术

(1)持久化:持久化是最简单的高可用方法(有时甚至不被归为高可用的手段),主要作用是数据备份,即将数据存储在硬盘,保证数据不会因进程退出而丢失
(2)主从复制:主从复制是高可用Redis的基础,哨兵和Cluster集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制
(3)哨兵:在主从复制的基础上,哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制
(4)Cluster集群:通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案

二、Redis持久化

1、持久化的功能

(1)Redis是内存数据库,数据都是存储在内存中,为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失,需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘;当下次Redis重启时,利用持久化文件实现数据恢复
(2)除此之外,为了进行灾难备份,可以将持久化文件拷贝到一个远程位置

2、两种持久化方式

(1)RDB 持久化:原理是将Redis在内存中的数据库记录定时保存到磁盘上(有点像快照)

(2)AOF 持久化:原理是将Reids的操作日志以注:追加的方式写入文件,类似于MySQL的binlog(类似于历史记录)

由于AOF持久化的实时性更好,即当进程意外退出时丢失的数据更少,因此AOF是目前主流的持久化方式,不过RDB持久化仍然有其用武之地

三、RDB持久化

1、概述

(1)RDB持久化是指在指定的时间间隔内将内存中当前进程中的数据生成快照保存到硬盘(因此也称作快照持久化),用二进制压缩存储,保存的文件后缀是rdb
(2)当Redis重新启动时,可以读取快照文件恢复数据

2、触发条件

(1)手动触发

• save命令和bgsave命令都可以生成RDB文件

2020102315590747 save命令会阻塞Redis服务器进程,直到RDB文件创建完毕为止,在Redis服务器阻塞期间,服务器不能处理任何命令请求

2020102315590748

​ bgsave命令会创建一个子进程,由子进程来负责创建RDB文件,父进程(即Redis主进程)则继续处理请求
• bgsave命令执行过程中,只有fork子进程时会阻塞服务器,而对于save命令,整个过程都会阻塞服务器,因此save已基本被废弃,线上环境要杜绝save的使用

(2)自动触发

• 在自动触发RDB持久化时,Redis也会选择bgsave而不是save来进行持久化
• 自动触发最常见的情况是在配置文件中通过save m n,指定当m秒内发生n次变化时,会触发bgsave

vim /etc/redis/6379.conf
#----219行----以下三个save条件满足任意一个时,都会引起bgsave的调用
save 900 1 :当时间到900秒时,如果redis数据发生了至少1次变化,则执行bgsave
save 300 10 :当时间到300秒时,如果redis数据发生了至少10次变化,则执行bgsave
save 60 10000 :当时间到60秒时,如果redis数据发生了至少10000次变化,则执行bgsave
#----242行----是否开启RDB文件压缩
rdbcompression yes
#----254行----指定RDB文件名
dbfilename dump.rdb
#----264行----指定RDB文件和AOF文件所在目录
dir /var/lib/redis/6379

img

img

img

(3)其他自动触发机制

• 除了save m n 以外,还有一些其他情况会触发bgsave
• 在主从复制场景下,如果从节点执行全量复制操作,则主节点会执行bgsave命令,并将rdb文件发送给从节点
• 执行shutdown命令时,自动执行rdb持久化

3、执行流程

img

(1)Redis父进程首先判断:当前是否在执行save,或bgsave/bgrewriteaof的子进程,如果在执行则bgsave命令直接返回。 bgsave/bgrewriteaof的子进程不能同时执行,主要是基于性能方面的考虑:两个并发的子进程同时执行大量的磁盘写操作,可能引起严重的性能问题
(2)父进程执行fork操作创建子进程,这个过程中父进程是阻塞的,Redis不能执行来自客户端的任何命令
(3)父进程fork后,bgsave命令返回"Background saving started"信息并不再阻塞父进程,并可以响应其他命令
(4)子进程创建RDB文件,根据父进程内存快照生成临时快照文件,完成后对原有文件进行原子替换
(5)子进程发送信号给父进程表示完成,父进程更新统计信息

4、启动时加载

(1)RDB文件的载入工作是在服务器启动时自动执行的,并没有专门的命令。但是由于AOF的优先级更高,因此当AOF开启时,Redis会优先载入 AOF文件来恢复数据;只有当AOF关闭时,才会在Redis服务器启动时检测RDB文件,并自动载入。服务器载入RDB文件期间处于阻塞状态,直到载入完成为止
(2)Redis(AOF关闭的时候)载入RDB文件时,会对RDB文件进行校验,如果文件损坏,则日志中会打印错误,Redis启动失败

四、AOF 持久化

1、概述

(1)RDB持久化是将进程数据写入文件,而AOF持久化,则是将Redis执行的每次写、删除命令记录到单独的日志文件中,查询操作不会记录; 当Redis重启时再次执行AOF文件中的命令来恢复数据
(2)与RDB相比,AOF的实时性更好,因此已成为主流的持久化方案

2、开启AOF

Redis服务器默认开启RDB,关闭AOF;要开启AOF,需要在配置文件中配置:
 
vim /etc/redis/6379.conf
 
#----700行----修改;开启AOF
appendonly yes
#----704行----指定AOF文件名称
appendfilename "appendonly.aof"
#----796行----是否忽略最后一条可能存在问题的指令
aof-load-truncated yes
#指redis在恢复时,会忽略最后一条可能存在问题的指令,默认为yes,即在aof写入时,可能存在指令错误的问题(突然断电导致未执行结束),这种情况下,yes会log并继续,而no会直接恢复失败
 
/etc/init.d/redis_6379 restart

img

img

img

3、执行流程

(1)由于需要记录Redis的每条写命令,因此AOF不需要触发,下面介绍AOF的执行流程
(2)AOF的执行流程包括:
• 命令追加(append):将Redis的写命令追加到缓冲区aof_buf
• 文件写入(write)和文件同步(sync):根据不同的同步策略将aof_buf中的内容同步到硬盘
• 文件重写(rewrite):定期重写AOF文件,达到压缩的目的

4、命令追加(append)

(1)Redis先将写命令追加到缓冲区,而不是直接写入文件,主要是为了避免每次有写命令都直接写入硬盘,导致硬盘IO成为Redis负载的瓶颈
(2)命令追加的格式是Redis命令请求的协议格式,它是一种纯文本格式,具有兼容性好、可读性强、容易处理、操作简单避免二次开销等优点。在AOF文件中,除了用于指定数据库的select命令(如select 0为选中0号数据库)是由Redis添加的,其他都是客户端发送来的写命令

5、文件写入(write)和文件同步(sync)

(1)Redis提供了多种AOF缓存区的同步文件策略,策略涉及到操作系统的write函数和fsync函数,说明如下:为了提高文件写入效率,在现代操作系统中,当用户调用write函数将数据写入文件时,操作系统通常会将数据暂存到一个内存缓冲区里,当缓冲区被填满或超过了指定时限后,才真正将缓冲区的数据写入到硬盘里。这样的操作虽然提高了效率,但也带来了安全问题:如果计算机停机,内存缓冲区中的数据会丢失;因此系统同时提供了fsync、fdatasync等同步函数,可以强制操作系统立刻将缓冲区中的数据写入到硬盘里,从而确保数据的安全性
(2)AOF缓存区的同步文件策略存在三种同步方式,它们分别是:
(vim /etc/redis/6379.conf ----》 729行 )
• appendfsync always: 命令写入aof_buf后立即调用系统fsync操作同步到AOF文件,fsync完成后线程返回。这种情况下,每次有写命令都要同步到AOF文件,硬盘IO成为性能瓶颈,Redis只能支持大约几百TPS写入,严重降低了Redis的性能;即便是使用固态硬盘(SSD),每秒大约也只能处理几万个命令,而且会大大降低SSD的寿命
• appendfsync no: 命令写入aof_buf后调用系统write操作,不对AOF文件做fsync同步;同步由操作系统负责,通常同步周期为30秒。这种情况下,文件同步的时间不可控,且缓冲区中堆积的数据会很多,数据安全性无法保证
• appendfsync everysec: 命令写入aof_buf后调用系统write操作,write完成后线程返回;fsync同步文件操作由专门的线程每秒调用一次。everysec是前述两种策略的折中,是性能和数据安全性的平衡,因此是Redis的默认配置,也是我们推荐的配置

6、文件重写(rewrite)

(1)随着时间流逝,Redis服务器执行的写命令越来越多,AOF文件也会越来越大;过大的AOF文件不仅会影响服务器的正常运行,也会导致数据恢复需要的时间过长

(2)文件重写是指定期重写AOF文件,减小AOF文件的体积

• AOF重写是把Redis进程内的数据转化为写命令,同步到新的AOF文件

• 不会对旧的AOF文件进行任何读取、写入操作

(3)对于AOF持久化来说,文件重写虽然是强烈推荐的,但并不是必须的;即使没有文件重写,数据也可以被持久化并在Redis启动的时候导入;因此在一些实现中,会关闭自动的文件重写,然后通过定时任

务在每天的某一时刻定时执行

1.文件重写之所以能够压缩AOF文件,原因在于:
 1)过期的数据不再写入文件
 2)无效的命令不再写入文件:如有些数据被重复设值(set mykey v1, set mykey v2)、有些数据被删除了(sadd myset v1, del myset)等
 3)多条命令可以合并为一个:如sadd myset v1, sadd myset v2, sadd myset v3可以合并为sadd myset v1 v2 v3
2.通过上述内容可以看出,由于重写后AOF执行的命令减少了,文件重写既可以减少文件占用的空间,也可以加快恢复速度
3.文件重写的触发,分为手动触发和自动触发:
 1)手动触发:直接调用bgrewriteaof命令,该命令的执行与bgsave有些类似:都是fork子进程进行具体的工作,且都只有在fork时阻塞
 2)自动触发:通过设置auto-aof-rewrite-min-size选项和auto-aof-rewrite-percentage选项来自动执行BGREWRITEAOF。 只有当auto-aof-rewrite-min-size和auto-aof-rewrite-percentage两个选项同时满足时,才会自动触发AOF重写,即bgrewriteaof操作。
  a.auto-aof-rewrite-percentage 100 :当前AOF文件大小(即aof_current_size)是上次日志重写时AOF文件大小(aof_base_size)两倍时,发生BGREWRITEAOF操作
  b.auto-aof-rewrite-min-size 64mb :当前AOF文件执行BGREWRITEAOF命令的最小值,避免刚开始启动Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF

(4)注意:
• 重写由父进程fork子进程进行
• 重写期间Redis执行的写命令,需要追加到新的AOF文件中,为此Redis引入了aof_rewrite_buf缓存

7、文件重写的流程

img

(1)Redis父进程首先判断当前是否存在正在执行bgsave/bgrewriteaof的子进程,如果存在则bgrewriteaof命令直接返回,如果存在bgsave命令则等bgsave执行完成后再执行
(2)父进程执行fork操作创建子进程,这个过程中父进程是阻塞的
(3.1)父进程fork后,bgrewriteaof命令返回"Background append only file rewrite started"信息并不再阻塞父进程,并可以响应其他命令。Redis的所有写命令依然写入AOF缓冲区,并根据appendfsync策略同步到硬盘,保证原有AOF机制的正确
(3.2)由于fork操作使用写时复制技术,子进程只能共享fork操作时的内存数据。由于父进程依然在响应命令,因此Redis使用AOF重写缓冲区(aof_rewrite_buf)保存这部分数据,防止新AOF文件生成期间丢失这部分数据。也就是说,bgrewriteaof执行期间,Redis的写命令同时追加到aof_buf和aof_rewirte_buf两个缓冲区
(4)子进程根据内存快照,按照命令合并规则写入到新的AOF文件
(5.1)子进程写完新的AOF文件后,向父进程发信号,父进程更新统计信息,具体可以通过info persistence查看
(5.2)父进程把AOF重写缓冲区的数据写入到新的AOF文件,这样就保证了新AOF文件所保存的数据库状态和服务器当前状态一致
(5.3)使用新的AOF文件替换老文件,完成AOF重写

8、启动时加载

(1)当AOF开启时,Redis启动时会优先载入AOF文件来恢复数据;只有当AOF关闭时,才会载入RDB文件恢复数据
(2)当AOF开启,但AOF文件不存在时,即使RDB文件存在也不会加载
(3)Redis载入AOF文件时,会对AOF文件进行校验,如果文件损坏,则日志中会打印错误,Redis启动失败。但如果是AOF文件结尾不完整(机器突然宕机等容易导致文件尾部不完整),且aof-load-truncated参数开启,则日志中会输出警告,Redis忽略掉AOF文件的尾部,启动成功。aof-load-truncated参数默认是开启的

五、RDB和AOF的优缺点

1、RDB持久化

(1)优点:RDB文件紧凑,体积小,网络传输快,适合全量复制;恢复速度比AOF快很多。当然,与AOF相比,RDB最重要的优点之一是对性能的影响相对较小
(2)缺点:RDB文件的致命缺点在于其数据快照的持久化方式决定了必然做不到实时持久化,而在数据越来越重要的今天,数据的大量丢失很多时候是无法接受的,因此AOF持久化成为主流。此外,RDB文件需要满足特定格式,兼容性差(如老版本的Redis不兼容新版本的RDB文件)
(3)对于RDB持久化,一方面是bgsave在进行fork操作时Redis主进程会阻塞,另一方面,子进程向硬盘写数据也会带来IO压力

2、AOF持久化

(1)与RDB持久化相对应,AOF的优点在于支持秒级持久化、兼容性好,缺点是文件大、恢复速度慢、对性能影响大
(2)对于AOF持久化,向硬盘写数据的频率大大提高(everysec策略下为秒级),IO压力更大,甚至可能造成AOF追加阻塞问题
(3)AOF文件的重写与RDB的bgsave类似,会有fork时的阻塞和子进程的IO压力问题。相对来说,由于AOF向硬盘中写数据的频率更高,因此对 Redis主进程性能的影响会更大

六、Redis的性能管理

1、查看Redis内存使用

redis-cli -h 192.168.80.11 -p 6379 -a 264196
info memory

img

2、内存碎片率

(1)操作系统分配的内存值used_memory_rss除以Redis使用的内存值used_memory计算得出
(2)内存碎片是由操作系统低效的分配/回收物理内存导致的(不连续的物理内存分配)
(3)跟踪内存碎片率对理解Redis实例的资源性能是非常重要的:
• 内存碎片率稍大于1是合理的,这个值表示内存碎片率比较低
• 内存碎片率超过1.5,说明Redis消耗了实际需要物理内存的150%,其中50%是内存碎片率。需要在redis-cli工具上输入shutdown save 命令,并重启Redis服务器
• 内存碎片率低于1的,说明Redis内存分配超出了物理内存,操作系统正在进行内存交换。需要增加可用物理内存或减少Redis内存占用

3、内存使用率

(1)redis实例的内存使用率超过可用最大内存,操作系统将开始进行内存与swap空间交换
(2)避免内存交换发生的方法:
• 针对缓存数据大小选择安装redis实例
• 尽可能的使用hash数据结构存储
• 设置key的过期时间

4、内回收key

(1)保证合理分配redis有限的内存资源。
(2)当达到设置的最大阀值时,需选择一种key的回收策略,默认情况下回收策略是禁止删除

配置文件中修改im:axmemory-policy属性值:
 
vim /etc/redis/6379.conf
#----598取消注释----
maxmemory-policy noenviction
 
volatile-lru    :使用LRU算法从已设置过期时间的数据集合中淘汰数据
volatile-ttl    :从已设置过期时间的数据集合中挑选即将过期的数据淘汰
volatile-random :从已设置过期时间的数据集合中随机挑选数据淘汰
allkeys-lru     :使用LRU算法从所有数据集合中淘汰数据
allkeys-random  :从数据集合中任意选择数据淘汰
noenviction     :禁止淘汰数据

img

七、Redis主从复制

1、概述

(1)主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master),后者称为从节点(Slave),数据的复制是单向的,只能由主节点到从节点

(2)默认情况下,每台Redis服务器都是主节点,且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点

2、主从复制的作用

(1)数据冗余∶主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式

(2)故障恢复∶当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复,实际上是一种服务的冗余。

(3)负载均衡∶在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载,尤其是在写

少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量

(4)高可用基石∶除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础

3、主从复制流程

(1)若启动一个Slave机器进程,则它会向Master机器发送一个"sync command"命令,请求同步连接

(2)无论是第一次连接还是重新连接,Master机器都会启动一个后台进程,将数据快照保存到数据文件中(执行rdb操作),同时Master还会记录修改数据的所有命令并缓存在数据文件中

(3)后台进程完成缓存操作之后,Master机器就会向Slave机器发送数据文件,slave端机器将数据文件保存到硬盘上,然后将其加载到内存中,接着Master机器就会将修

改数据的所有操作一并发送给Slav端机器。若Slave出现故障导致宕机,则恢复正常后会自动重新连接

(4)Master机器收到Slave端机器的连接后,将其完整的数据文件发送给Slave端机器,如果Mater同时收到多个slave发来的同步请求,则Master会在后台启动一个进程以

保存数据文件,然后将其发送给所有的Slave端机器,确保所有的slave端机器都正常

八、Redis主从复制的搭建

1、实验环境

Master服务器:192.168.142.20 redis-5.0.7

Slave1服务器:192.168.142.3 redis-5.0.7

Slave2服务器:192.168.142.4 redis-5.0.7

2、配置思路

(1)准备三台安装好了redis服务器的主机

(2)master节点修改监听地址为0.0.0.0表示任意地址,并且需要开启AOF持久化,重启服务

(3)Slave节点修改监听地址0.0.0.0,开启AOF持久化,需要额外在配置文件287行指定同步的master节点IP和端口,重启服务。在主服务器写入数据加以验证

3、三台服务器安装Redis

img

img

img

4、修改Redis配置文件(Master节点操作)

vim /etc/redis/6379.conf
bind 0.0.0.0                                           #70行,修改监听地址为0.0.0.0
daemonize yes                                     #137行,开启守护进程
logfile /var/log/redis 6379.log             #172行,指定日志文件目录
dir /var/lib/redis/6379                          #264行,指定工作目录
appendonly yes                                  #700行,开启AOF持久化功能
  
/etc/init.d/redis_6379 restart
netstat -natp | grep redis

img

img

img

img

img

img

5、修改Redis配置文件(Slave1/2节点操作)

vim /etc/redis/6379.conf
bind 0.0.0.0                                     #70行,修改监听地址为0.0.0.0
daemonize yes                                    #137行,开启守护进程
logfile /var/log/redis 6379.log                 #172行,指定日志文件目录
dir /var/lib/redis/6379                         #264行,指定工作目录
replicaof 192.168.142.20 6379                    #287行,指定要同步的master节点IP和端口
appendonly yes                                  #700行,开启AOF持久化功能
 
/etc/init.d/redis_6379 restart
netstat -natp | grep redis

img

img

img

img

img

6、验证主从效果

在Master节点上查看日志文件
cat /var/log/redis_6379.log
 
.......
Replica 192.168.142.3:6379 asks for synchronization
Replica 192.168.142.4:6379 asks for synchronization

img

在Master节点验证从节点
redis-cli info replication              #可以显示redis服务器的主从复制的状态

img

#在master上插入数据
redis-cli -h 192.168.142.20 -p 6379
192.168.142.20:6379> set test 100
192.168.142.20:6379> get test
 
#在slave1/2上查看数据
redis-cli -h 192.168.142.3/4 -p 6379
192.168.142.3/4:6379> keys *
192.168.142.3/4:6379> get test
 
#无法在slave节点服务写入数据
192.168.142.3/4:6379> set test 110      #从服务器配置主从复制后无法插入数据,实现了读写分离的作用

img

img

img

九、dis哨兵模式

1、核心功能

在主从复制的基础上,哨兵引入了主节点的自动故障转移

2、哨兵模式原理

哨兵(sentinel)∶是一个分布式系统,用于对主从结构中的每台服务器进行监控,当出现故障时通过投票机制选择新的Master并将所有 Slave 连接到新的Master。所以整个运行哨兵的集群的数量不得少于3个节点

3、哨兵模式的作用

(1)监控∶哨兵会不断地检查主节点和从节点是否运作正常。

(2)自动故障转移∶当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,并让其他从节点改为复制新的主节点。

(3)通知(提醒)∶哨兵可以将故障转移的结果发送给客户端

4、哨兵模式的组成

(1)哨兵节点∶哨兵系统由一个或多个哨兵节点组成,哨兵节点是特殊的redis节点,不存储数据,端口是26379

(2)数据节点∶主节点和从节点都是数据节点

5、哨兵的工作模式

(1)所有哨兵都会监控节点,哨兵之间会共享服务器的状态数据,对整个集群实现监控

(2)哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式,所有节点上都需要部署哨兵模式,哨兵模式会监控所有的 Redis 工作节点是否正常,当Master出现问题的时候,因为

其他节点与主节点失去联系,因此会投票,投票过半就认为这个Master的确出现问题,然后会通知哨兵间,然后从Slaves中选取一个作为新的Master

(3)需要特别注意的是,客观下线是主节点才有的概念,如果从节点和哨兵节点发生故障,被哨兵主观下线后,不会再有后续的客观下线和故障转移操作

主观下线:当某个哨兵认为节点宕机,是主观下线

客观下线:当所有哨兵投票后票数过半后确认宕机为客观下线,然后就会执行故障的切换等过程

十、搭建Redis哨兵模式

1、服务器准备

Master节点:192.168.142.20

Slave1节点:192.168.142.3

Slave2节点:192.168.142.4

2、修改Redis哨兵模式的配置文件(所有节点操作)

vim /opt/redis-5.0.7/sentinel.conf
protected-mode no                               #17行,关闭保护模式
daemonize yes                                   #26行,指定sentinel为后台启动
logfile "/var/log/sentinel.log"                 #36行,指定日志存放路径
dir "/var/lib/redis/6379"                       #65行,指定数据库存放路径
sentinel monitor mymaster 192.168.142.20 6379 2  #84行, 修改
指定该哨兵节点监控192.168.80.10:6379这个主节点,该主节点的名称是mymaster,最后的2的含义与主节点的故障判定有关:至少需要2个哨兵节点同意,才能判定主节点故障并进行故障转移
sentinel down-after-milliseconds mymaster 30000 #113行,判定服务器down掉的时间周期,默认30000毫秒(30秒)
sentinel failover-timeout mymaster 180000       #146行,故障节点的最大超时时间为180000 (180秒 )

img

img

img

img

img

img

img

3、启动哨兵模式

注意:先启master,再启slave
cd /opt/redis-5.0.7/
redis-sentinel sentinel.conf &

img

img

img

4、查看哨兵信息

redis-cli -p 26379 info Sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.142.20:6379,slaves=2,sentinels=3

img

5、故障模拟

#查看redis-server进程号(在Master 上进行):
ps -ef | grep redis
 
#杀死 Master 节点上redis-server的进程号
kill -9 57521 #Master节点上redis-server的进程号

img

6、验证master是否切换

#验证结果,查看master是转换至从服务器
tail -f /var/log/sentinel.log
  
#在Slave1上查看是否转换成功
redis-cli -p 26379 INFO Sentinel

img

img

十一、Redis群集模式

1、概述

(1)集群,即Redis Cluster,是Redis 3.0开始引入的分布式存储方案

(2)集群由多个节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点

数据和状态信息的复制

2、集群的作用

(1)数据分区:数据分区(或称数据分片)是集群最核心的功能。 集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;另一方面每个

主节点都可以对外提供读服务和写服务,大大提高了集群的响应能力。 Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;例如,如果单机内存太大,

bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主

机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出

(2)高可用:集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务

3、Redis集群的数据分片

(1)Redis集群引入了哈希槽的概念,Redis集群有16384个哈希槽(编号0-16383),集群的每个节点负责一部分哈希槽,每个Key通过CRC16校验后对16384取余来决定

放置哪个哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作

(2)以3个节点组成的集群为例: 节点A包含0到5460号哈希槽,节点B包含5461到10922号哈希槽,节点C包含10923到16383号哈希槽

(3)Redis集群的主从复制模型 集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。为每个节点添加一个从节

点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为的主节点继续服务。当B和B1都失败后,集群将不可用

十二、搭建Redis群集模式

1、服务器准备

redis的集群一般需要6个节点,3主3从。方便起见,这里所有节点在6台服务器上模拟:以IP及端口号进行区分:3个主节点端口号:7001、7003、7005,对应的从节点端口号:7002、7004、7006

master1服务器 CentOS7.4(64 位) 192.168.142.6 redis-5.0.7.tar.gz 6001

master2服务器 CentOS7.4(64 位) 192.168.142.10 redis-5.0.7.tar.gz 6002

master3服务器 CentOS7.4(64 位) 192.168.142.20 redis-5.0.7.tar.gz 6003

slave1服务器 CentOS7.4(64 位) 192.168.142.3 redis-5.0.7.tar.gz 6004

slave2服务器 CentOS7.4(64 位) 192.168.142.4 redis-5.0.7.tar.gz 6005

slave3服务器 CentOS7.4(64 位) 192.168.142.5 redis-5.0.7.tar.gz 6006

2、 所有节点

cd /etc/redis/
mkdir -p redis-cluster/redis6379
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis6379/
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis6379/

img

3、修改Master1节点的redis配置文件

#其他5个文件夹的配置文件以此类推修改,注意6个端口都要不一样。
cd /etc/redis/redis-cluster/redis6379
vim redis.conf
 
#bind 127.0.0.1#69行,注释
protected-mode no               #88行,修改,关闭保护模式
port 6001                   #92行,修改,redis监听端口,
daemonize yes                   #136行,以独立进程启动
cluster-enabled yes             #832行,取消注释,开启群集功能
cluster-config-file nodes-6379.conf     #840行,取消注释,群集名称文件设置,无需修改
cluster-node-timeout 15000                #846行,取消注释群集超时时间设置
appendonly yes                  #699行,修改,开启AOF持久化

img

img

img

img

img

scp /etc/redis/redis-cluster/redis6379/redis.conf root@192.168.142.3:/etc/redis/redis-cluster/redis6379/redis.conf
scp /etc/redis/redis-cluster/redis6379/redis.conf root@192.168.142.4:/etc/redis/redis-cluster/redis6379/redis.conf
scp /etc/redis/redis-cluster/redis6379/redis.conf root@192.168.142.5:/etc/redis/redis-cluster/redis6379/redis.conf
scp /etc/redis/redis-cluster/redis6379/redis.conf root@192.168.142.10:/etc/redis/redis-cluster/redis6379/redis.conf
scp /etc/redis/redis-cluster/redis6379/redis.conf root@192.168.142.20:/etc/redis/redis-cluster/redis6379/redis.conf

img

4、修改其余节点的redis配置文件

vim /etc/redis/redis-cluster/redis6379/redis.conf
...
bind ip
...
port 端口
...

img

5、所有节点启动redis节点

cd /etc/redis/redis-cluster/redis6379/
redis-server redis.conf

img

6、启动集群

redis-cli --cluster create 192.168.142.6:6001 192.168.142.10:6002 192.168.142.20:6003 192.168.142.3:6004 192.168.142.4:6005 192.168.142.5:6006 --cluster-replicas 1

img

7、测试集群

redis-cli -p 6001 -c        #加-c参数,节点之间就可以互相跳转 
cluster slots           #查看节点的哈希槽编号范围
set name zhangsan
cluster keyslot name    #查看name键的槽编号

img

img

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MagnumOvO

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值