1.Redis主从复制
1.1 概述
- Redis,虽然读取写入的速度都特别快,但是也会产生读压力特别大的情况。为了分担读压力,Redis支持主从复制,保证主数据库的数据内容和从数据库的内容完全一致。
1.2 redis结构分类
- Redis 的主从结构可以采用一主多从或者级联结构,
- Redis 主从复制可以根据是否是全量分为全量同步和增量同步。
1.2.1 redis全量同步
- Redis 全量复制一般发生在Slave初始化阶段,这时 Slave 需要将 Master 上的所有数据都复制一份。
- 具体步骤如下:
从服务器连接主服务器,发送SYNC命令;
主服务器接收到sYNC命名后,开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令;
主服务器BGSAVE执行完后,向所有从服务器发送快照文件,并在发送期间继续记录被执行的写命令;
从服务器收到快照文件后丢弃所有旧数据,载入收到的快照;
主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令;
从服务器完成对快照的载入,开始接收命令请求,并执行来自主服务器缓冲区的写命令。
1.2.2 redis增量复制
-
Redis 增量复制是指 Slave 初始化后开始正常工作时主服务器发生的写操作同步到从服务器的过程。·
-
增量复制的过程主要是主服务器每执行一个写命令就会向从服务器发送相同的写命令,从服务器接收并执行收到的写命令。
1.3 主从同步策略
- 主从刚刚连接的时候,进行全量同步;
- 全同步结束后,进行增量同步;
- 当然,如果有需要,slave在任何时候都可以发起全量同步。redis策略是,无论如何首先会尝试进行增量同步;如不成功,要求从机进行全量同步。
2.搭建Redis主从复制
- 项目环境
一台mater主服务器
IP:192.168.140.20
两台slave备选服务器
IP:192.168.140.21
IP:192.168.140.22
2.1 在服务器上开启redis_server服务
注意:在主和备服务器上都需要开启redis服务
发送所有会话,关闭防火墙
systemctl stop firewalld
setenforce 0
- 在三台服务器上均导入以下软件包,放在根目录下
2.1.1 解压并安装
[root@master ~]# tar zxvf redis-5.0.4.tar.gz
[root@master ~]# cd redis-5.0.4/
[root@master redis-5.0.4]# make
[root@master redis-5.0.4]# make PREFIX=/usr/local/redis install
[root@master redis-5.0.4]# cd
2.1.2 创建链接文件,并启动服务
[root@master ~]# ln -s /usr/local/redis/bin/* /usr/local/bin/
[root@master ~]# cd redis-5.0.4/utils/
[root@master utils]# ./ //按table 查看相关命令
create-cluster/ graphs/ hyperloglog/ lru/ redis_init_script.tpl speed-regression.tcl
generate-command-help.rb hashtable/ install_server.sh redis_init_script releasetools/ whatisdoing.sh
[root@master utils]# ./install_server.sh
...//弹出的信息,按回车即可
[root@master utils]# netstat -anpt | grep redis
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 60219/redis-server
2.2 修改配置文件
- 主服务器上
[root@master ~]# vi /etc/redis/6379.conf
...
69 bind 0.0.0.0 //修改监听地址为 0.0.0.0 (在实验环境使用),现网环境建议绑定从服务器IP地址
136 daemonize yes //开启守护进程
171 logfile /var/log/redis_6379.log //修改日志文件目录
263 dir /var/lib/redis/6379 //修改工作目录
699 appendonly yes //开启AOF持久化功能
- 备选服务器上,先开启和主服务器一样的功能,再进行以下配置
[root@slave1 ~]# vi /etc/redis/6379.conf
...
replicaof 192.168.140.20 6379 //开启复制功能
[root@slave1 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
Starting Redis server...
- 在主服务器上查看日志
2.2 master主服务器上验证从节点
- 主服务器上连接数据库并编辑内容
[root@master ~]# redis-cli //连接数据库
127.0.0.1:6379> info replication //查看节点信息
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.140.21,port=6379,state=online,offset=448,lag=1
slave1:ip=192.168.140.22,port=6379,state=online,offset=448,lag=1
master_replid:8e6ded5a687920d545a8133c8c0093d8e962056d
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:448
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:448
127.0.0.1:6379> set cp 9 //写入内容,并验证
OK
127.0.0.1:6379> get cp
"9"
- 从服务器上验证主服务器上编辑的内容
[root@slave1 ~]# redis-cli
127.0.0.1:6379> get cp
"9"
127.0.0.1:6379>
2.3 验证结果
- 当主节点宕机以后
[root@master ~]# /etc/init.d/redis_6379 stop
Stopping ...
Redis stopped
(1) 在从节点上查看日志可得
(2) 从服务器上查看主服务器上编辑的内容是否存在
[root@slave1 ~]# redis-cli
127.0.0.1:6379> get cp
"9"
127.0.0.1:6379>
-
此时表示redis主从搭建成功
-
结论:redis主从复制,当主服务器故障后,不会自动切换备服务器。虽然读取数据正常,但写入数据会出现问题。
3.哨兵模式
注意:哨兵模式,一定是基于redis主从复制模式下做的
3.1 哨兵模式原理
- 哨兵(sentinel)是一个分布式系统,用于对主从结构中的每台服务器进行监控,当出现故障时通过投票机制选择新的master并将所有slave连接到新的master;
- 所以整个运行哨兵的集群的数量不得少于3个节点。
3.2 哨兵模式的作用
-
监控
不断的检查master和slave是否正常运行;
master存活检测、master 与 slave 运行情况检测。 -
通知(提醒)
当被监控的服务器出现问题时,向其他 (哨兵间,客户端) 发送通知。 -
自动故障转移
断开master与slave连接,选取一个slave作为master,将其他slave连接到新的master,并告知客户端新的服务器地址
补充:哨兵也是一台redis服务器,只是不提供数据服务
3.3 哨兵模式的启动
- 哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式,所有节点上都需要部署哨兵模式;
- 哨兵模式会监控所有的redis工作节点是否正常,当master出现问题的时候,因为其他节点与主节点失去联系,因此会投票,投票过半就认为这个master的确出现问题,然后会通知哨兵间,然后从slaves中选取一个作为新的master
3.4 哨兵的配置
3.4.1 编辑配置文件
[root@master ~]# vi redis-5.0.4/sentinel.conf
17 protected-mode no //关闭保护模式
26 daemonize yes //指定sentinel为后台启动(开启守护进程)
36 logfile "/var/log/sentinel.log" //指定日志存放路径
65 dir /var/lib/redis/6379 //指定数据库存放路径
84 sentinel monitor mymaster 192.168.140.20 6379 2
//至少几个哨兵检测到主服务器故障了,才会进行故障迁移(当主服务器故障,切换到slave为主服务器时,会将地址改为一个ID号)
113 sentinel down-after-milliseconds mymaster 3000 //判定服务器down掉的时间周期,默认30000毫秒(30S)
146 sentinel failover-timeout mymaster 180000 //故障节点的最大超时时间为180000(180秒)
3.4.2 拷贝配置文件到slave服务器
[root@master ~]# scp redis-5.0.4/sentinel.conf root@192.168.140.21:/root/redis-5.0.4
3.4.3 启动哨兵模式
先启动master,再启slave
[root@master ~]# redis-sentinel redis-5.0.4/sentinel.conf & //&表示在后台启动
[1] 63649
[root@slave1 ~]# redis-sentinel redis-5.0.4/sentinel.conf &
[1] 62327
[root@slave2 ~]# redis-sentinel redis-5.0.4/sentinel.conf &
[1] 60481
3.4.4 查看哨兵信息
- 查看日志
[root@master ~]# tail -f /var/log/sentinel.log
- 查看进程
[root@master ~]# ps aux | grep sentinel
root 63650 0.2 0.1 153836 2668 ? Ssl 17:23 0:01 redis-sentinel *:26379 [sentinel]
root 63739 0.0 0.0 112676 980 pts/1 S+ 17:31 0:00 grep --color=auto sentinel
[root@master ~]# ps aux | grep redis
root 62860 0.1 0.1 156396 2800 ? Ssl 16:03 0:06 /usr/local/bin/redis-server 0.0.0.0:6379
root 63650 0.2 0.1 153836 2668 ? Ssl 17:23 0:01 redis-sentinel *:26379 [sentinel]
root 63742 0.0 0.0 112676 984 pts/1 S+ 17:31 0:00 grep --color=auto redis
- 查看哨兵状态
[root@master ~]# redis-cli -h 192.168.140.20 -p 26379 info sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.140.20:6379,slaves=2,sentinels=3
[root@master ~]# redis-cli -h 192.168.140.20 -p 6379 info replication
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.140.21,port=6379,state=online,offset=174385,lag=0
slave1:ip=192.168.140.22,port=6379,state=online,offset=174385,lag=0
master_replid:75cd6e32461f20e72b1ae7a09bffff02803fb9f9
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:174385
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:174385
3.5 模拟故障
- 在主服务器上停掉 redis 服务
[root@master ~]# /etc/init.d/redis_6379 stop //停止redis服务
也可以用 kill 命令
kill -9 进程号
3.6 验证结果
- 在slave服务器上查看日志得
[root@slave1 ~]# tail -f /var/log/sentinel.log
[root@slave2 ~]# tail -f /var/log/sentinel.log
[root@slave2 ~]# redis-cli -h 192.168.140.22 -p 26379 info sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.140.22:6379,slaves=2,sentinels=3
- 当主服务器master重新启动后
查看日志及哨兵状态发现,master并没有抢占slave服务器
[root@master ~]# /etc/init.d/redis_6379 start