centos7 redis-sentinel哨兵模式搭建

前言

  实际MES项目需要用到redis缓存，单机redis不适合正式环境部署，因此考虑 Redis 服务器集群，实现主从配置和容灾部署，使得主机出现故障时，可自动进行容灾切换，下面就详细讲解一下如何利用 Redis 来实现。

文章重点

一、Redis简介

• Redis（Remote Dictionary Server远程字典服务）是一个开源的高性能key-value数据库，它通常被称为数据结构服务器，因为值（value）可以是 字符串(String),哈希(Hash), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型，官网：https://redis.io/。
• Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
• Redis不仅仅支持简单的key-value类型的数据，同时还提供 list，set，zset，hash等数据结构的存储。
• Redis支持数据的备份，即master-slave模式的数据备份。

为什么用Redis？
  一个字，快！传统的关系型数据库如 Mysql 等已经不能适用所有的场景了，比如在高并发，访问流量高峰等情况时，数据库很容易崩了。Redis 运行在内存，能起到一个缓冲作用，由于内存的读写速度远快于硬盘，因此 Redis 在性能上比其他基于硬盘存储的数据库有明显的优势。
  同时除了快之外，还可应用于集群的自动容灾切换以及数据的读写分离，减轻高并发的压力。

二、Redis 安装部署

1.下载安装包

官网地址： https://redis.io/download

2.上传虚拟机解压

  博主通过FileZilla上传redis-6.2.5.tar.gz

解压压缩包

tar -zxvf redis-6.2.5.tar.gz

进入解压文件目录，看到存在Makefile文件，说明需要编译安装

使用make命令对解压的 redis 文件进行编译，如下：

make

报错cc命令不存在

需要安装gpcc

yum install gcc -y

继续执行make，还是报错：

增加MALLOC=libc参数后执行：

make MALLOC=libc

3.部署

  由于 src 下文件非常多，我们可以将几个常用的命令和 conf 配置文件复制出来进行统一管理，如下：
（1）新建 bin 和 etc 文件夹

cd  /root/redis-6.2.5
mkdir etc
mkdir bin

（2）回到安装目录，将redis.conf复制到 ect 文件夹下

cp redis.conf /root/redis-6.2.5/etc

（3）进入 src 文件夹下，将mkreleasehdr.sh、redis-benchmark、redis-check-aof、redis-check-rdb、redis-cli、redis-server、redis-sentinel文件复制到 bin 文件夹

cd src/
cp mkreleasehdr.sh redis-benchmark redis-check-aof redis-check-rdb redis-cli redis-server redis-sentinel /root/redis-6.2.5/bin/

查看复制后的文件，如下:

4、启动redis服务

  切换到 bin 目录，使用./redis-server即可启动 redis 服务，但是这种方式没有指明配置文件，redis 将采用默认配置，所以我们需要让 redis 按照我们的配置文件来启动，如下，启动时指定刚才我们复制到 etc 文件夹下的redis.conf。

#可以设置redis_home，这样不用到指定目录启动
vim /etc/profile
export REDIS_HOME=/root/redis-6.2.5
export PATH=$REDIS_HOME/bin:$PATH

source /etc/profile

redis-server /root/redis-6.2.5/etc/redis.conf

  因为采用的是默认配置文件，不是静默启动，我们再打开一个连接会话，查看redis的进程，如下，可以看到6379端口就是我们运行的 redis 服务（配置文件中默认端口为6379）。

使用redis-cli命令连接客户端，如下：

/root/redis-6.2.5/bin/redis-cli  -p 6379

注:ctrl+c退出redis-cli的命令端

5、关闭redis服务

如果需要关闭redis服务，使用如下命令即可关闭:

/root/redis-6.2.5/bin/redis-cli -p 6379 shutdown

三、Redis 集群整体架构

  这里我们采用的集群整体架构就是主从结构+哨兵（sentinel），实现容灾的自动切换，如下图所示：

一个主节点（master）可拥有多个从节点（slave），从节点实现对主节点的复制，保证数据同步。而哨兵（sentinel）则对各节点进行监控，主要包括主节点存活检测、主从运行情况检测等，一旦主节点宕机，哨兵可自动进行故障转移 （failover）、主从切换。
接下来就开始搭建这样一个集群，首先是主从结构，然后是哨兵模式，接着往下看。

四、Redis 主从配置及数据同步

在上面 Redis 安装部署中我们已经启动了 Redis 服务，但是配置文件并没有做修改，因为主从配置主要就是通过修改配置文件来实现，所以 Redis 配置文件的修改统一在这里进行讲解。
这里我创建了三台虚拟机来演示，分别按照上述安装方式安装好 Redis，三台虚拟机如下配置：

IP地址	端口号	角色
192.168.45.47	6379	主机
192.168.45.48	6379	从机
192.168.45.49	6379	从机

首先关闭三台虚拟机的防火墙（不然要设置访问端口）：

systemctl stop firewalld  
systemctl disable firewalld 
systemctl status firewalld 

48和49两台机子，redis分别安装好，可以通过scp拷贝文件：

scp root@192.168.45.47:/root/redis-6.2.5.tar.gz /root/redis-6.2.5.tar.gz

现在进入 etc 文件夹，使用vim redis.conf命令打开编辑 redis.conf 配置文件，如下:

cat redis.conf|grep -v "#"|grep -v "^$"

首先看一下redis.conf 配置文件中的各个参数，详解如下:

# redis进程是否以守护进程的方式运行，yes为是，no为否(不以守护进程的方式运行会占用一个终端)。
daemonize no
# 指定redis进程的PID文件存放位置
pidfile /var/run/redis.pid
# redis进程的端口号
port 6379
#是否开启保护模式，默认开启。要是配置里没有指定bind和密码。开启该参数后，redis只会本地进行访问，拒绝外部访问。要是开启了密码和bind，可以开启。否则最好关闭设置为no。
protected-mode yes
# 绑定的主机地址
bind 127.0.0.1
# 客户端闲置多长时间后关闭连接，默认此参数为0即关闭此功能
timeout 300
# redis日志级别，可用的级别有debug.verbose.notice.warning
loglevel verbose
# log文件输出位置，如果进程以守护进程的方式运行，此处又将输出文件设置为stdout的话，就会将日志信息输出到/dev/null里面去了
logfile stdout
# 设置数据库的数量，默认为0可以使用select <dbid>命令在连接上指定数据库id
databases 16
# 指定在多少时间内刷新次数达到多少的时候会将数据同步到数据文件
save <seconds> <changes>
# 指定存储至本地数据库时是否压缩文件，默认为yes即启用存储
rdbcompression yes
# 指定本地数据库文件名
dbfilename dump.db
# 指定本地数据问就按存放位置
dir ./
# 指定当本机为slave服务时，设置master服务的IP地址及端口，在redis启动的时候他会自动跟master进行数据同步
replicaof <masterip> <masterport>
# 当master设置了密码保护时，slave服务连接master的密码
masterauth <master-password>
# 设置redis连接密码，如果配置了连接密码，客户端在连接redis是需要通过AUTH<password>命令提供密码，默认关闭
requirepass footbared
# 设置同一时间最大客户连接数，默认无限制。redis可以同时连接的客户端数为redis程序可以打开的最大文件描述符，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回 max number of clients reached 错误信息
maxclients 128
# 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key。当此方法处理后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区
maxmemory<bytes>
# 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no。
appendonly no
# 指定跟新日志文件名默认为appendonly.aof
appendfilename appendonly.aof
# 指定更新日志的条件，有三个可选参数 - no：表示等操作系统进行数据缓存同步到磁盘(快)，always：表示每次更新操作后手动调用fsync()将数据写到磁盘(慢，安全)， everysec：表示每秒同步一次(折衷，默认值)；
appendfsync everysec

1、主机配置

  主机（192.168.45.47）需要改动的配置如下所示，修改完毕后先按 esc ，然后:wq命令保存退出。
需要修改的有以下几点：

#每台绑定自己的IP
bind 192.168.45.47
protected-mode no
#需要创建好logs目录
logfile /root/redis-6.2.5/logs/redis.log
daemonize yes

2、从机配置

  从机的配置和主机相似，相同的地方我就不再详解，不同的地方是需要使用replicaof指定主机（master）的IP地址和端口，需要注意的是老版本使用的是 slaveof，目前我使用的6.2.5版本要使用 replicaof ，如下：

#可以先利用scp拷贝主机的配置
scp root@192.168.45.47:/root/redis-6.2.5/etc/redis.conf /root/redis-6.2.5/etc/redis.conf
#更改从机的bind
bind 192.168.45.49
#设置复制主机
replicaof 192.168.45.47 6379

replicaof 192.168.45.47 6379 指定当本机为 slave 服务时，设置 master 服务的IP地址及端口，在 redis 启动的时候会自动跟 master 进行数据同步，所以两台从机都这样配置即可。
接着启动redis服务，注意可以观察下启动顺序，如下是将从机先启动，会去不断连接主机，如果主机没有启动，会报错，直到主机成功上线为止

redis-server /root/redis-6.2.5/etc/redis.conf

至此主从结构搭建完毕，不出意外主从机已经可以数据同步：

redis-cli -h 192.168.45.47

3、主从验证

接下来我们在主机（master）添加几条数据，看从机（slave）是否可以获取到，如果能获取，说明数据已经同步到了从机，主机添加数据，如下：

从机获取数据：

从机写，失败，说明从机是只读状态

五、Redis 哨兵模式搭建

1、哨兵模式详解

• Redis Sentinel是Redis 的高可用性解决方案，由一个或多个Sentinel（哨兵）实例组成。它可以监视任意多个主服务器，以及这些主服务器属下的所有从服务器，并在被监视的主服务器进入下线状态时，自动将下线主服务器属下的某个从服务器升级为新的主服务器，它的主要功能如下：
• 监控(Monitoring)：Sentinel会不断地检查你的主服务器和从服务器是否运作正常。
• 通知(Notification)：当被监控的某个 Redis 服务器出现问题时， Sentinel可以通过API向管理员或者其他应用程序发送通知。
  故障迁移：当主服务器不能正常工作时，Sentinel会自动进行故障迁移，也就是主从切换。
• 统一的配置管理：连接者询问sentinel取得主从的地址。

哨兵原理

  Sentinel 使用的算法核心是 Raft 算法，主要用途就是用于分布式系统，系统容错，以及Leader选举，每个Sentinel都需要定期的执行以下任务：

• 每个 Sentinel 会自动发现其他 Sentinel 和从服务器，它以每秒钟一次的频率向它所知的主服务器、从服务器以及其他 Sentinel 实例发送一个 PING 命令。
• 如果一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 那么这个实例会被 Sentinel 标记为主观下线。 有效回复可以是： +PONG 、 -LOADING 或者 -MASTERDOWN 。
• 如果一个主服务器被标记为主观下线， 那么正在监视这个主服务器的所有Sentinel要以每秒一次的频率确认主服务器的确进入了主观下线状态。
• 如果一个主服务器被标记为主观下线， 并且有足够数量的Sentinel（至少要达到配置文件指定的数量）在指定的时间范围内同意这一判断， 那么这个主服务器被标记为客观下线。
• 在一般情况下， 每个Sentinel会以每 10 秒一次的频率向它已知的所有主服务器和从服务器发送 INFO 命令。 当一个主服务器被Sentinel标记为客观下线时，Sentinel向下线主服务器的所有从服务器发送 INFO 命令的频率会从 10 秒一次改为每秒一次。
• 当没有足够数量的Sentinel同意主服务器已经下线， 主服务器的客观下线状态就会被移除。 当主服务器重新向Sentinel的 PING 命令返回有效回复时， 主服务器的主管下线状态就会被移除。
  

配置文件详解

哨兵的配置主要就是修改sentinel.conf配置文件中的参数，在Redis安装目录即可看到此配置文件，各参数详解如下:

# 哨兵sentinel实例运行的端口，默认26379  
port 26379
# 是否设置为后台启动。
daemonize no
#pid文件地址
pidfile /var/run/redis-sentinel.pid
#日志文件地址
logfile ""
# 指定sentinel工作目录
dir /tmp
# 哨兵sentinel监控的redis主节点的 
## ip：主机ip地址
## port：哨兵端口号
## master-name：可以自己命名的主节点名字（只能由字母A-z、数字0-9 、这三个字符".-_"组成。）
## quorum：当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了  
# sentinel monitor <master-name> <ip> <redis-port> <quorum>  
sentinel monitor mymaster 127.0.0.1 6379 2
# 指定主节点应答哨兵sentinel的最大时间间隔，超过这个时间，哨兵主观上认为主节点下线，默认30秒  
# sentinel auth-pass <master-name> <password>  
sentinel down-after-milliseconds mymaster 30000
acllog-max-len 128
# 指定了在发生failover主备切换时，最多可以有多少个slave同时对新的master进行同步。这个数字越小，完成failover所需的时间就越长；反之，但是如果这个数字越大，就意味着越多的slave因为replication而不可用。可以通过将这个值设为1，来保证每次只有一个slave，处于不能处理命令请求的状态。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
# 故障转移的超时时间failover-timeout，默认三分钟，可以用在以下这些方面：
## 1. 同一个sentinel对同一个master两次failover之间的间隔时间。  
## 2. 当一个slave从一个错误的master那里同步数据时开始，直到slave被纠正为从正确的master那里同步数据时结束。  
## 3. 当想要取消一个正在进行的failover时所需要的时间。
## 4.当进行failover时，配置所有slaves指向新的master所需的最大时间。不过，即使过了这个超时，slaves依然会被正确配置为指向master，但是就不按parallel-syncs所配置的规则来同步数据了
# sentinel failover-timeout <master-name> <milliseconds>  
sentinel failover-timeout mymaster 180000
sentinel deny-scripts-reconfig yes
SENTINEL resolve-hostnames no
SENTINEL announce-hostnames no

2、哨兵搭建

这里我们部署三个哨兵，每台服务器一个哨兵，配置方式相同，如下：

cd /root/redis-6.2.5
cp sentinel.conf  /root/redis-6.2.5/etc/sentinel.conf

编辑 sentinel.conf，做以下配置更改（三台都改）：

daemonize yes
logfile /root/redis-6.2.5/logs/sentinel.log
sentinel monitor mymaster 192.168.45.47 6379 2

3、启动三个哨兵：

redis-sentinel /root/redis-6.2.5/etc/sentinel.conf

三个哨兵都启动后，可使用如下命令查看哨兵信息：

redis-cli -h 192.168.45.47 -p 26379
info sentinel

4、容灾切换
现在我们模拟主机宕机，将主机 redis 服务关闭(同时关闭sentinel)，如下:

现在我们去看三台服务器的情况，发现刚才的主机（192.168.45.48 6379）已经变成了主机如下:

但这里由于也挂了sentinel，没有立马迁移到48，等待了将近10分钟，这是看另外一台从机的redis.conf配置：

 cat redis.conf |grep -v "#"|grep -v "^$"|grep "rep"

这里已经改成了新的主机（48），因此主机的迁移也会更改配置文件

因此，将原先挂掉的47服务器启动起来前，需要更改配置文件，将它配置成48的从机：

vim /root/redis-6.2.5/etc/redis.conf
replicaof 192.168.45.48 6379
#保存后启动47
redis-server /root/redis-6.2.5/etc/redis.conf

这时再 redis-cli -h 192.168.45.48，看下连接情况：

47已经正常连接上来，这时需要把sentinel也同时启动起来：

redis-sentinel /root/redis-6.2.5/etc/sentinel.conf
redis-cli -h 192.168.45.47 -p 26379
info sentinel

这边看到，sentinel已经连接到新的主机了

查看配置文件发现，配置文件最后有信息添加了：

至此redis 哨兵模式搭建完毕