Redis篇——Redis主从复制,详细的主从复制底层原理和Redis集群搭建以及集群宕机配置主机等技术点~

主从复制底层实现

一、概念
主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master/leader)、后者称为从节点(slave/follower)。数据的复制是单向的,只能由主节点到从节点。
Master以写为主,Slaver以读为主

默认情况下,每台Redis服务器都是主节点,且一个主节点可以有多个从节点(或者没有从节点),但是一个从节点只能有一个主节点

二、主从复制架构
一般来说,搭建主从复制的集群至少需要4个Redis服务器,一主三从

三、主从复制原理

Slave:从机
Master:主机
复制原理
Slave启动成功连接到Master后会发送一个sync同步命令! Master接到命令后,启动后台的存盘进程,同时收集所有接收到的用于修改数据集的命令,在后台进程执行完毕之后,Master将传送整个数据文件到Slave,并完成一次完全同步!

学习两个新概念:
1、全量复制:当从机成功连接到主机上,主机上会和从机进行一次完全同步数据,把快照发送给从机,等待从机加载完成后,再把缓存区的命令给从机执行,这个过程就叫做全量复制

2、增量复制:从机连接到主机,全量复制结束,当主机的数据进行修改,主机会把收集到的修改命令传给从机,完成同步

四、主从复制的作用(重点)
1、数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式

2、故障恢复:当主节点出现问题的时候,可以由从节点提供服务,实现快速故障恢复,实际上是一种服务的冗余

3、负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接到从节点),分担服务器负载。尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量

4、高可用基石:除了上述的作用外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础

五、主从复制在实际开发中的应用
一般来说,要将Redis运用到工程项目中,只是用一台Redis服务区是坚决杜绝的,原因如下:
1、从结构上,单个Redis服务器会发生单点故障,并且一台服务器要处理所有的请求负载,压力较大

2、从容量上,单个Redis服务器内存容量有限,就算一台Redis服务器内存容量为256G,也不能将所有的内存都用到Redis存储内存,一般来说,单台Redis最大使用内存不应该超过20G

主从机的细节

一、主机可以写,从机只能读,主机的数据,都会自动同步保存到从机!
测试:
1、主机中写

127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> get  k1
"v1"

2、从机中读

127.0.0.1:6380> get k1
"v1"

3、从机中写
从机中写,就会报错!

127.0.0.1:6380> set k2 v2
(error) READONLY You can't write against a read only replica.

二、主机断开连接,从机依旧连接到主机的,但是还是没有写的操作(还没配置哨兵),这个时候,如果主机回来了,从机依旧可以直接获取到主机中写的信息
测试:
1、主机断开连接

127.0.0.1:6379> shutdown

2、查看进程,确认主机进程断开了

[root@guohui bin]# ps -ef|grep redis
root     11790     1  0 15:20 ?        00:00:01 redis-server 127.0.0.1:6380
root     11813     1  0 15:20 ?        00:00:01 redis-server 127.0.0.1:6381

3、查看从机的信息

127.0.0.1:6380> info replication
# Replication
role:slave #该服务器的角色在主机断开的情况下,还是从机
master_host:127.0.0.1
master_port:6379

4、连接主机,并且往设置新的key

127.0.0.1:6379> set  k2 v2
OK

5、在从机中观察能否获得到k2

127.0.0.1:6380> get k2
"v2"

三、如果是使用命令行来配置主从机,如果从机重启,他就变成了默认的主机
如果该服务器重新配置了连接,成功连接到原先的主机,它依旧可以获取到主机中所有存的数据!
测试:
1、关掉80服务

127.0.0.1:6380> shutdown

2、重新启动80Redis服务,查看该服务的状态

127.0.0.1:6380> info replication
# Replication
role:master #变回了主机
connected_slaves:0
master_failover_state:no-failover
master_replid:987c934aec5e546c768d4a41f5f539d4e06282d4
master_replid2:1ee20ea52b1e4ed7be5a2aeb34c156b03651b10c
master_repl_offset:2213
second_repl_offset:2214
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:2214
repl_backlog_histlen:0

3、重新连接到79主机,就可以获取到主机中存的数据了

127.0.0.1:6380> slaveof 127.0.0.1 6379
OK
127.0.0.1:6380> get k2
"v2"

Redis集群环境搭建

一、启动主节点Redis服务,查看当前服务的信息
1、命令

info replication

2、剖析服务信息

127.0.0.1:6379> info replication #查看当前库的信息
# Replication
role:master #角色:master
connected_slaves:0 #从节点,当前为0,表示没有从机
master_failover_state:no-failover
master_replid:d5904bc180ba2146132f64aad9f27706056a157d
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

二、在还要再开启至少3个服务,一主三从
1、再开启三个服务


2、关闭刚刚打开的服务

shutdown

exit

三、保持三台服务都在Redis的安装目录/usr/local/bin下,在第一台服务器中,增加redis.conf配置文件

[root@guohui bin]# ls
appendonlydir  cloud-init-per  jemalloc-config  jsondiff     jsonschema        luajit-2.0.4  normalizer       redis-check-rdb  redis-server
cloud-id       dump.rdb        jemalloc.sh      jsonpatch    libmcrypt-config  mcrypt        redis-benchmark  redis-cli
cloud-init     ghconfig        jeprof           jsonpointer  luajit            mdecrypt      redis-check-aof  redis-sentinel
[root@guohui bin]# cd ghconfig/
[root@guohui ghconfig]# ls
redis.conf
[root@guohui ghconfig]# cp redis.conf redis79.conf #复制3份原来的配置文件
[root@guohui ghconfig]# cp redis.conf redis80.conf
[root@guohui ghconfig]# cp redis.conf redis81.conf
[root@guohui ghconfig]# ls
redis79.conf  redis80.conf  redis81.conf  redis.conf #此时一共有四个redis配置文件

四、修改刚刚复制的配置文件
1、79.conf
(1)日志文件命名修改,因为有多个文件,就不能为空

(2)修改dump.rdb文件命名

至此,第一台6379服务器就配置好了!其他三台服务器也是按照上述的规则修改即可

2、80.conf和81.conf要在上述修改之外,修改prot端口号和pidfile

五、启动三台redis服务,在第四个服务器窗口,通过进程命令查看是否成功将三台伪服务器成功开启

开启成功!至此环境搭建完成!

宕机后手动配置主机

如果主机断开了,从机想让自己变成主节点,使用命令

slaveof no one

这样,其他的从节点就可以连接到新配置的主节点上了!如果这个时候主机修复了,就需要重新配置了

至此,关于Redis主从复制原理以及Redis集群搭建的方式介绍完毕,大家可以收藏反复学习。后续还会持续更新相关技术栈,敬请期待~

  • 16
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Be explorer

若认可笔者文章,手头富裕望支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值