Redis主从复制及哨兵模式详解

博奇

已于 2022-10-21 16:56:02 修改

阅读量291

点赞数 1

分类专栏： redis 文章标签： redis

于 2020-11-06 09:04:09 首次发布

本文链接：https://blog.csdn.net/humanhaunt/article/details/109524282

版权

redis 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

说明：主从复制和哨兵模式我都会在一台机器上进行搭建，Redis的安装这里不做说明了，官网上都有特别简单，其实主从复制和哨兵模式搭建也非常简单，Redis版本：6.0.9，不要使用6.0.7版本，这个版本哨兵模式有问题

Redis主从复制

说明：我这里会搭建一主节点一个从节点，主节点启动在6379端口，从节点在6380端口

首先我们新建一个config文件夹用来存放redis的配置文件，新建data目录用来存放redis的数据文件，目录随便，我这里是在redis目录下，把redis.conf文件复制两份到config目录下

[root@localhost redis-6.0.9]# mkdir config
[root@localhost redis-6.0.9]# mkdir -p ./data/{6379,6380}
[root@localhost redis-6.0.9]# cp redis.conf config/redis_6379.conf
[root@localhost redis-6.0.9]# cp redis.conf config/redis_6380.conf

注意上面的两个配置文件名字，最好文件名上带上端口号，好区分我们的服务

修改我们的两个配置文件，redis_6379,conf和redis_6380.conf
下面的配置是我们两个配置文件都需要修改的地方

 #bind 127.0.0.1 #服务监听的网卡IP，这个注释掉，否则外部无法访问我们的服务
 daemonize no # 表示以后台模式运行
 protected-mode no # 关闭保护模式，开启这个模式只可以本机访问
 port 6379 # 端口号，两个文件都要修改，一个是6379，一个是6380
pidfile /var/run/redis_6379.pid # 进程的pid文件，6380要修改为对应的pid文件名
dir ./data/6379/  # 数据文件(rdb,aof文件)存放目录，不同的服务要指向不同的目录

下面我们只需要在slave节点配置文件也就是redis_6380.conf文件中添加以下配置即可，192.168.56.101是我的IP, 6379是master的端口

replicaof 192.168.56.101 6379

接下来我们启动服务

[root@localhost redis-6.0.9]# src/redis-server config/redis_6379.conf
[root@localhost redis-6.0.9]# src/redis-server config/redis_6380.conf

启动成功之后我们验证以下是否启动成功，可以看到我们的两个服务已经启动起来

[root@localhost redis-6.0.9]# ps -ef|grep redis
root     10517     1  0 08:33 ?        00:00:00 src/redis-server *:6380
root     10579     1  0 08:37 ?        00:00:00 src/redis-server *:6379
root     10671  2343  0 08:39 pts/0    00:00:00 grep --color=auto redis

还可以连接到master节点,我们通过info命令查看集群信息

[root@localhost redis-6.0.9]# src/redis-cli -p 6379
127.0.0.1:6379> info
# Replication
role:master
connected_slaves:1
slave0:ip=192.168.56.101,port=6380,state=online,offset=75655,lag=1
master_replid:8f7106f396872ecafaebbf9e56ba62576b4a9db0
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:75655
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:75655

上面我只取了Replication块的信息，可以看到我们当前节点的角色是master还是slave,还有我们从节点的ip信息等，
接下来你就可以在master节点设置一些key，看是否会同步到slave节点，这里不再做演示

主从复制的原理

redis从节点在启动时会跟主节点建立一个socket长连接来实现数据的传输
redis的主从复制分为全量复制，和增量复制，

全量复制

当我们第一次启动redis从节点时，从节点会发送psync命令来获取主节点的数据，然后主节点会执行bgsave来生成最新的rdb快照数据，然后发送给从节点，注意这里如果bgsave的时候又有新的数据进来主节点会把新进来的数据放到repl buffer缓冲区中（其实就是一些写命令），从节点收到rdb数据之后会清空从节点中的所有数据，然后把主节点的rdb数据加载进来，完成这些之后，主节点就会通过长链接持续的把新进来的命令发送到从节点
下面附上全量复制的流程图
在这里插入图片描述

增量复制

如果我们的从节点宕机了之后，master节点又接收到了很多数据，当从节点重启之后，他会怎么同步主节点数据呢？从节点不可能一上来就把主节点的数据通过rdb快照文件全部拿过来，因为这样会很慢，他会利用增量复制的功能：当我们的主节点至少有一个从节点的时候，主节点内部会创建一个repl backlog buffer缓冲区，用来存放最近执行的修改命令，注意只是修改命令，这个缓冲区的大小可以通过参数repl-backlog-size配置，默认是1m大小，当从节点重启后，从节点会发送psync(offset)命令，这时会携带一个数据的偏移信息，也就是我上次数据同步到的位置，主节点收到psync(offset)命令之后会检查offset位置是否在repl backlog buffer缓冲区里面，如果在则把offset之后的数据一次发送给从节点，否则全量复制(就是我们上面的全量复制方式)
下面附上增量复制的流程图
在这里插入图片描述

主从复制风暴问题

上面我们完成了一主一丛的配置，但是真实环境从节点有可能会很多，甚至几十个，这时候如果都跟master进行数据复制，那主节点就要执行几十次的bgsave去生成全量数据，这就是我们所说的主从复制风暴问题，那么该怎么解决呢？那就是通过树形架构来避免大量从节点从主节点复制数据
在这里插入图片描述

哨兵模式

上面我们搭建好了一主一从的主从复制模式，但是如果master挂掉了，redis是无法为我们自动切换主从的，需要运维手动修改配置切换主从，但是哨兵模式帮我们实现了自动的故障切换，当master挂掉之后，哨兵集群会自动帮我们选举出master节点，继续提供服务，下面我们逐步搭建一个哨兵集群，注意，哨兵实例最少需要启动三个示例(奇数个)，因为选举需要半数以上的选举策略

复制redis目录下的sentinel.conf文件到config目录下用来启动三个哨兵服务,文件命名最好用端口号区分

[root@localhost redis-6.0.9]# cp sentinel.conf config/sentinel_26379.conf
[root@localhost redis-6.0.9]# cp sentinel.conf config/sentinel_26380.conf
[root@localhost redis-6.0.9]# cp sentinel.conf config/sentinel_26381.conf

修改以下几个配置参数

port 26379 #哨兵实例的启动端口
daemonize yes #后台运行
pidfile /var/run/redis-sentine-26379.pid # 哨兵实例进程的pid文件名，最好用端口区分开
sentinel monitor mymaster 127.0.0.1 6379 2 #

最主要的配置sentinel monitor mymaster 192.168.56.101 6379 2 # 该配置指定哨兵监控的master节点的信息
参数详解：
**monitor：**监控主节点
**mymaster:**主节点名，链接哨兵需要指定主节点名，可随便配置
192.168.56.101 6379: master的ip和端口
2: quorum,配置当指定数量的哨兵实例认为master挂掉了，才执行选举，通常设置为（哨兵实例数/2+1）即半数以上

启动哨兵实例

[root@localhost redis-6.0.9]# src/redis-sentinel config/sentinel_26379.conf
[root@localhost redis-6.0.9]# src/redis-sentinel config/sentinel_26380.conf
[root@localhost redis-6.0.9]# src/redis-sentinel config/sentinel_26381.conf

查看我们启动的哨兵实例

[root@localhost redis-6.0.9]# ps -ef|grep redis
root     16751     1  0 10:56 ?        00:00:00 src/redis-server *:6379
root     16761     1  0 10:56 ?        00:00:00 src/redis-server *:6380
root     16821     1  0 10:58 ?        00:00:01 src/redis-sentinel *:26379 [sentinel]
root     16829     1  0 10:58 ?        00:00:01 src/redis-sentinel *:26380 [sentinel]
root     17017     1  0 11:13 ?        00:00:00 src/redis-sentinel *:26381 [sentinel]
root     17023  2343  0 11:13 pts/0    00:00:00 grep --color=auto redis

可以看到我们的哨兵实例已经启动，而且进程信息后面会有[sentinel]的标识。
接下来我们使用jedis连接哨兵并验证failover故障切换是否可用,
Jedis版本3.3.0，至于怎么使用jedis这里不多说了，都so easy

public static void main(String[] args) {
        // 配置连接池
        JedisPoolConfig poolConfig = new JedisPoolConfig();
        poolConfig.setMaxIdle(10);
        poolConfig.setMinIdle(5);
        poolConfig.setMaxTotal(50);
        // 配置哨兵服务地址
        Set<String> sentinels = new HashSet<>();
        sentinels.add("192.168.56.101:26379");
        sentinels.add("192.168.56.101:26380");
        sentinels.add("192.168.56.101:26381");
        // 配置哨兵池，注意这里mymaster一定要和你哨兵配置文件中的配置一致
        JedisSentinelPool sentinelPool = new JedisSentinelPool("mymaster",sentinels,poolConfig,3000);
        // 获取一个链接资源
        Jedis jedis = sentinelPool.getResource();
        // 通过循环不断的往redis写数据，当抛出异常时我们需要重新getResource(),否则是无法重连的
        for (int i=0;i<100000;i++){
            try{
                jedis.set("zhangsan"+i, String.valueOf(i));
                System.out.println("设置key:"+"zhangsan"+i+" value:" + i);
                Thread.sleep(1000);
            }catch (Exception e){
                try{
                    // 这里是重点,如果抛出异常重新获取新的链接
                    jedis = sentinelPool.getResource();
                }catch (Exception e2){
                    e2.printStackTrace();
                }
            }
        }
        jedis.close();
    }

上面的程序跑起来，控制台就会不断的打印设置到redis的key信息，然后我们kill掉master进程

[root@localhost redis-6.0.9]# ps -ef|grep redis
root     16821     1  0 10:58 ?        00:00:12 src/redis-sentinel *:26379 [sentinel]
root     16829     1  0 10:58 ?        00:00:12 src/redis-sentinel *:26380 [sentinel]
root     17017     1  0 11:13 ?        00:00:11 src/redis-sentinel *:26381 [sentinel]
root     17877     1  0 13:20 ?        00:00:00 src/redis-server *:6379
root     17925     1  0 13:22 ?        00:00:00 src/redis-server *:6380
root     17963  2343  0 13:28 pts/0    00:00:00 grep --color=auto redis
[root@localhost redis-6.0.9]# kill 17877

下面这个图展示了我kill掉master之后打印的错误信息在这里插入图片描述
线面这个图演示了运行一段时间之后的自动恢复

可以看到控制台打印几个设置成功的信息，但是我们kill掉master之后客户端跟master的链接断掉了，但是过了一会又继续执行成功了
这样我们就成功的实现了哨兵模式的主从故障切换，当然有的人会有疑问，既然中间会有一段链接失败的过程，那不是就会有一部分数据丢失吗？是的。但是我们可以通过程序去避免，比如说如果你链接失败了可以重试几次，如果重试了几次之后还是没有写入成功可以把数据写到日志文件里，然后等回复了通过日志文件恢复数据。

后面我们会介绍一种大型互联网公司用的redis集群模式，也就是Redis Cluster这种模式把缓存的数据按照一定的规则放到不同的redis节点中，这样就可以减轻我们的链接的可能性，同时还可以提高我们的水平扩展性，

博奇

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Redis主从复制及哨兵模式详解

说明：主从复制和哨兵模式我都会在一台机器上进行搭建，Redis的安装这里不做说明了，官网上都有特别简单，其实主从复制和哨兵模式搭建也非常简单，Redis版本：6.xRedis主从复制说明：我这里会搭建一主节点一个从节点，主节点启动在6379端口，从节点在6380端口首先我们新建一个config文件夹用来存放redis的配置文件，新建data目录用来存放redis的数据文件，目录随便，我这里是在redis目录下，把redis.conf文件复制两份到config目录下[root@localhost
复制链接

扫一扫