Redis数据持久化，主从同步，哨兵模式

一、Redis服务

1.介绍

redis是一个开源的、使用C语言编写的、可基于内存也可持久化的Key-Value数据库，采用单线程基于epoll模型实现IO多路复用非阻塞的处理模式。

redis的官网：redis.io

2.特点

1.丰富的数据结构  -----Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)等数据结构的存储
2.支持持久化
3.支持主从、集群、哨兵
4.性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s。
5.pub/sub模式的发布、订阅消息队列服务器

二、安装

版本 Redis 7.0.9

1.安装Redis

yum -y install wget gcc make
wget http://download.redis.io/releases/redis-7.0.9.tar.gz
tar xzf redis-7.0.9.tar.gz -C /usr/local
mv /usr/local/redis-7.0.9 /usr/local/redis
mkdir /usr/local/redis/data
cd /usr/local/redis
make

2.修改配置文件

sed -i 's/bind 127.0.0.1 -::1/bind 192.168.11.150/' /usr/local/redis/redis.conf
sed -i 's/protected-mode yes/protected-mode no/' /usr/local/redis/redis.conf
sed -i 's/daemonize no/daemonize yes/' /usr/local/redis/redis.conf
sed -i 's#logfile ""#logfile "/var/log/redis.log"#' /usr/local/redis/redis.conf
sed -i 's#dir ./#dir /usr/local/redis/data#' /usr/local/redis/redis.conf

 

bind 192.168.11.150 #只监听内网IP

protected-mode no#关闭保护模式
daemonize yes #开启后台模式将no改为yes
dir /usr/local/redis/data #本地数据库存放持久化数据的目录该目录-----需要存在
logfile "/var/log/redis.log"  #设置日志存放路径与日志名

3.启动Redis

直接启动

/usr/local/redis/src/redis-server /usr/local/redis/redis.conf

关闭

pkill redis

配置redis为systemctl启动
cd /lib/systemd/system
vim redis.service
[Unit]
Description=Redis
After=network.target

[Service]
ExecStart=/data/application/redis/src/redis-server /data/application/redis/redis.conf  --daemonize no
ExecStop=/data/application/redis/src/redis-cli -h 127.0.0.1 -p 6379 shutdown

[Install]
WantedBy=multi-user.target

参数详解:
[Unit] 表示这是基础信息
Description 是描述
After 是在那个服务后面启动，一般是网络服务启动后启动

[Service] 表示这里是服务信息
ExecStart 是启动服务的命令
ExecStop 是停止服务的指令

[Install] 表示这是是安装相关信息
WantedBy 是以哪种方式启动：multi-user.target表明当系统以多用户方式（默认的运行级别）启动时，这个服务需要被自动运行。

4.登录Redis

/usr/local/redis/src/redis-cli -h 192.168.11.150 -p 6379

5.相关工具

./redis-cli           #redis的客户端
./redis-server        #redis的服务端
./redis-check-aof     #用于修复出问题的AOF文件
./redis-sentinel      #用于哨兵管理

三、数据持久化

1.两种方法

1.1redis提供了两种持久化的方式，分别是RDB（Redis DataBase）和AOF（Append Only File）

RDB（Redis DataBase）：是在不同的时间点，将redis存储的数据生成快照并存储到磁盘等介质上；
特点:
1.周期性
2.不影响数据写入  #RDB会启动子进程，备份所有数据。当前进程，继续提供数据的读写。当备份完成，才替换老的备份文件。
3.高效     #一次性还原所有数据
4.完整性较差 #由于拍快照是有周期性的，当拍快照时发生故障了，所以恢复到故障点到上一次的备份，到下次备份之间的数据无法恢复。
AOF（Append Only File）则是换了一个角度来实现持久化，那就是将redis执行过的所有写指令记录下来，在下次redis重新启动时，只要把这些写指令从前到后再重复执行一遍，就可以实现数据恢复了。
特点:
1.实时性
2.完整性较好
3.体积大  #记录数据的指令，删除数据的指令都会被记录下来。
RDB和AOF两种方式也可以同时使用，在这种情况下，如果redis重启的话，则会优先采用AOF方式来进行数据恢复，这是因为AOF方式的数据恢复完整度更高。

1.2如何选择方式？

缓存：不用开启任何持久方式
双开:因RDB数据不实时，但同时使用两者时服务器只会找AOF文件,所以RDB留作万一的手段。
官方的建议是两个同时使用。这样可以提供更可靠的持久化方案。
写入速度快 ------------AOF
写入速度慢 ------------RDB

2.持久化配置

vim redis.conf

#dbfilename：持久化数据存储在本地的文件
dbfilename dump.rdb
#dir：持久化数据存储在本地的路径
dir /usr/local/redis/data
##snapshot触发的时机，save <seconds> <changes>  
##如下为900秒后，至少有一个变更操作，才会snapshot  
##对于此值的设置，需要谨慎，评估系统的变更操作密集程度  
##可以通过save “”来关闭snapshot功能  
#save时间，以下分别表示更改了1个key时间隔900s进行持久化存储；更改了10个key300s进行存储；更改10000个key60s进行存储。
save 900 1
save 300 10
save 60 10000
##yes代表当使用bgsave命令持久化出错时候停止写RDB快照文件,no表明忽略错误继续写文件，“错误”可能因为磁盘已满/磁盘故障/OS级别异常等  
stop-writes-on-bgsave-error yes
##是否启用rdb文件压缩，默认为“yes”，压缩往往意味着“额外的cpu消耗”，同时也意味着较短的网络传输时间  
rdbcompression yes
注意:每次快照持久化都是将内存数据完整写入到磁盘一次，如果数据量大的话，而且写操作比较多，必然会引起大量的磁盘io操作，会严重影响性能，可能会导致对客户端提供的服务暂停数毫秒，或者甚至数秒。

AOF默认关闭--开启

sed -i 's/appendonly no/appendonly yes/' /usr/local/redis/redis.conf

1、此选项为aof功能的开关，默认为“no”，可以通过“yes”来开启aof功能,只有在“yes”下，aof重写/文件同步等特性才会生效
2、指定aof文件名称
appendfilename appendonly.aof 
3、指定aof操作中文件同步策略，有三个合法值：always everysec no,默认为everysec
appendfsync everysec  
always     #每次有数据修改发生时都会写入AOF文件。
everysec  #每秒钟同步一次，该策略为AOF的缺省策略
no          #从不同步。高效但是数据不会被持久化

开启持久化功能后，重启redis后，数据会自动通过持久化文件恢复

3测试

存入任意数据后备份

scp /usr/local/redis/data/dump.rdb 192.168.11.151:/usr/local/redis/data/

将备份数据远程传输到需要恢复的机器

然后启动该机器即可

四、主从同步

1、主从 – 用法

像MySQL一样，redis是支持主从同步的，而且也支持一主多从以及多级从结构。 主从结构，一是为了纯粹的冗余备份，二是为了提升读性能，比如很消耗性能的SORT就可以由从服务器来承担。 redis的主从同步是异步进行的。

2、主从同步原理

主从 – 同步原理
从服务器会向主服务器发出SYNC指令，当主服务器接到此命令后，就会调用BGSAVE指令来创建一个子进程专门进行数据持久化工作，也就是将主服务器的数据写入RDB文件中。在数据持久化期间，主服务器将执行的写指令都缓存在内存中。
在BGSAVE指令执行完成后，主服务器会将持久化好的RDB文件发送给从服务器，从服务器接到此文件后会将其存储到磁盘上，然后再将其读取到内存中。这个动作完成后，主服务器会将这段时间缓存的写指令再以redis协议的格式发送给从服务器。

另外，要说的一点是，即使有多个从服务器同时发来SYNC指令，主服务器也只会执行一次BGSAVE，然后把持久化好的RDB文件发给多个从服务器。

3、部署三台机器redis---主从同步

redis-master----192.168.11.150
redis-slave-1-----192.168.11.151
redis-slave-2-----192.168.11.152

主服务器配置

修改监听端口

sed -i 's/bind 192.168.11.150/bind 0.0.0.0/' /usr/local/redis/redis.conf

从服务器1配置

sed -i 's/bind 192.168.11.151/bind 0.0.0.0/' /usr/local/redis/redis.conf

cat >> /usr/local/redis/redis.conf << EOF

replicaof 192.168.11.150 6379

EOF

从服务器2配置

sed -i 's/bind 192.168.11.152/bind 0.0.0.0/' /usr/local/redis/redis.conf

cat >> /usr/local/redis/redis.conf << EOF

replicaof 192.168.11.150 6379

EOF

添加master的内网ip和端口

配置完成后重启redis服务

主服务器

从服务器

主从同步部署完成！

五、哨兵模式

1.简介

Sentinel(哨兵)是用于监控redis集群中Master状态的工具，其已经被集成在redis2.4+的版本中是Redis官方推荐的高可用性解决方案。

2.作用

检测Master状态

如果Master异常，则会进行Master-Slave切换，将其中一个Slave作为Master，将之前的Master作为Slave
Master-Slave切换后，sentinel的监控目标会随之调换

3.工作模式

每个Sentinel以每秒钟一次的频率向它所知的Master，Slave以及其他 Sentinel 实例发送一个 PING 命令

如果一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值，则这个实例会被 Sentinel 标记为主观下线。

如果一个Master被标记为主观下线，则正在监视这个Master的所有 Sentinel 要以每秒一次的频率确认Master的确进入了主观下线状态。

当有足够数量的 Sentinel（大于等于配置文件指定的值）在指定的时间范围内确认Master的确进入了主观下线状态， 则Master会被标记为客观下线

4.主观下线和客观下线

主观下线：Subjectively Down，简称 SDOWN，指的是当前 Sentinel 实例对某个redis服务器做出的下线判断。
客观下线：Objectively Down， 简称 ODOWN，指的是多个 Sentinel 实例在对Master Server做出 SDOWN  判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master  Server下线判断，然后开启failover

如何故障转移？
前面说过，为了更加“客观”的判断主节点故障了，一般不会只由单个哨兵的检测结果来判断，而是多个哨兵一起判断，这样可以减少误判概率，所以哨兵是以哨兵集群的方式存在的。

那么问题来了，由哨兵集群中的哪个节点进行主从故障转移呢？

这时候，还需要在哨兵集群中选出一个 leeder，让 leeder 来执行主从切换。选举 leeder 的过程其实是一个投票的过程，在投票开始前，肯定得有个「候选者」。

那谁来作为候选者呢？
哪个哨兵节点判断主节点为「客观下线」，这个哨兵节点就是候选者，所谓的候选者就是想当 Leader 的哨兵。

5.配置哨兵模式

每台机器上修改redis主配置文件redis.conf文件设置：bind 0.0.0.0

sed -i '/daemonize no/daemonize yes/' /usr/local/redis/sentinel.conf
sed -i '#logfile ""#logfile "/var/log/sentinel.log"#' /usr/local/redis/sentinel.conf
sed -i '/sentinel monitor mymaster 127.0.0.1 6379 2/sentinel monitor mymaster 192.168.11.150 6379 2/' /usr/local/redis/sentinel.conf
sed -i '/sentinel down-after-milliseconds mymaster 30000/sentinel down-after-milliseconds mymaster 3000/' /usr/local/redis/sentinel.conf
sed -i '/sentinel failover-timeout mymaster 180000/sentinel failover-timeout mymaster 10000/' /usr/local/redis/sentinel.conf

修改哨兵配置文件

daemonize yes #设置哨兵放后台运行
logfile "/var/log/sentinel.log" #设置哨兵日志
sentinel monitor mymaster 192.168.11.150 6379 2 #当集群中有2个sentinel认为master死了时，才能真正认为该master已经不可用了。 (slave上面写的是master的ip，master写自己ip)
sentinel down-after-milliseconds mymaster 3000   #单位毫秒
sentinel failover-timeout mymaster 10000   #若sentinel在该配置值内未能完成failover(故障转移)操作（即故障时master/slave自动切换），则认为本次failover失败。

protected-mode no  #关闭加密模式--新添加到sentinel配置文件中  ----老版本中需需要添加

/usr/local/redis/src/redis-sentinel /usr/local/redis/sentinel.conf

启动哨兵模式

三台机器都启动后，先关闭150的哨兵进程，再关闭redis进程

查看151,152集群状态

152选举成为新的Master

也可以通过日志文件查看

哨兵模式部署成功