主从复制底层实现
一、概念
主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master/leader)、后者称为从节点(slave/follower)。数据的复制是单向的,只能由主节点到从节点。
Master以写为主,Slaver以读为主
默认情况下,每台Redis服务器都是主节点,且一个主节点可以有多个从节点(或者没有从节点),但是一个从节点只能有一个主节点
二、主从复制架构
一般来说,搭建主从复制的集群至少需要4个Redis服务器,一主三从
三、主从复制原理
Slave:从机
Master:主机
复制原理
Slave启动成功连接到Master后会发送一个sync同步命令! Master接到命令后,启动后台的存盘进程,同时收集所有接收到的用于修改数据集的命令,在后台进程执行完毕之后,Master将传送整个数据文件到Slave,并完成一次完全同步!
学习两个新概念:
1、全量复制:当从机成功连接到主机上,主机上会和从机进行一次完全同步数据,把快照发送给从机,等待从机加载完成后,再把缓存区的命令给从机执行,这个过程就叫做全量复制
2、增量复制:从机连接到主机,全量复制结束,当主机的数据进行修改,主机会把收集到的修改命令传给从机,完成同步
四、主从复制的作用(重点)
1、数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式
2、故障恢复:当主节点出现问题的时候,可以由从节点提供服务,实现快速故障恢复,实际上是一种服务的冗余
3、负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接到从节点),分担服务器负载。尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量
4、高可用基石:除了上述的作用外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础
五、主从复制在实际开发中的应用
一般来说,要将Redis运用到工程项目中,只是用一台Redis服务区是坚决杜绝的,原因如下:
1、从结构上,单个Redis服务器会发生单点故障,并且一台服务器要处理所有的请求负载,压力较大
2、从容量上,单个Redis服务器内存容量有限,就算一台Redis服务器内存容量为256G,也不能将所有的内存都用到Redis存储内存,一般来说,单台Redis最大使用内存不应该超过20G
主从机的细节
一、主机可以写,从机只能读,主机的数据,都会自动同步保存到从机!
测试:
1、主机中写
127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> get k1
"v1"
2、从机中读
127.0.0.1:6380> get k1
"v1"
3、从机中写
从机中写,就会报错!
127.0.0.1:6380> set k2 v2
(error) READONLY You can't write against a read only replica.
二、主机断开连接,从机依旧连接到主机的,但是还是没有写的操作(还没配置哨兵),这个时候,如果主机回来了,从机依旧可以直接获取到主机中写的信息
测试:
1、主机断开连接
127.0.0.1:6379> shutdown
2、查看进程,确认主机进程断开了
[root@guohui bin]# ps -ef|grep redis
root 11790 1 0 15:20 ? 00:00:01 redis-server 127.0.0.1:6380
root 11813 1 0 15:20 ? 00:00:01 redis-server 127.0.0.1:6381
3、查看从机的信息
127.0.0.1:6380> info replication
# Replication
role:slave #该服务器的角色在主机断开的情况下,还是从机
master_host:127.0.0.1
master_port:6379
4、连接主机,并且往设置新的key
127.0.0.1:6379> set k2 v2
OK
5、在从机中观察能否获得到k2
127.0.0.1:6380> get k2
"v2"
三、如果是使用命令行来配置主从机,如果从机重启,他就变成了默认的主机
如果该服务器重新配置了连接,成功连接到原先的主机,它依旧可以获取到主机中所有存的数据!
测试:
1、关掉80服务
127.0.0.1:6380> shutdown
2、重新启动80Redis服务,查看该服务的状态
127.0.0.1:6380> info replication
# Replication
role:master #变回了主机
connected_slaves:0
master_failover_state:no-failover
master_replid:987c934aec5e546c768d4a41f5f539d4e06282d4
master_replid2:1ee20ea52b1e4ed7be5a2aeb34c156b03651b10c
master_repl_offset:2213
second_repl_offset:2214
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:2214
repl_backlog_histlen:0
3、重新连接到79主机,就可以获取到主机中存的数据了
127.0.0.1:6380> slaveof 127.0.0.1 6379
OK
127.0.0.1:6380> get k2
"v2"
Redis集群环境搭建
一、启动主节点Redis服务,查看当前服务的信息
1、命令
info replication
2、剖析服务信息
127.0.0.1:6379> info replication #查看当前库的信息
# Replication
role:master #角色:master
connected_slaves:0 #从节点,当前为0,表示没有从机
master_failover_state:no-failover
master_replid:d5904bc180ba2146132f64aad9f27706056a157d
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
二、在还要再开启至少3个服务,一主三从
1、再开启三个服务
2、关闭刚刚打开的服务
shutdown
exit
三、保持三台服务都在Redis的安装目录/usr/local/bin下,在第一台服务器中,增加redis.conf配置文件
[root@guohui bin]# ls
appendonlydir cloud-init-per jemalloc-config jsondiff jsonschema luajit-2.0.4 normalizer redis-check-rdb redis-server
cloud-id dump.rdb jemalloc.sh jsonpatch libmcrypt-config mcrypt redis-benchmark redis-cli
cloud-init ghconfig jeprof jsonpointer luajit mdecrypt redis-check-aof redis-sentinel
[root@guohui bin]# cd ghconfig/
[root@guohui ghconfig]# ls
redis.conf
[root@guohui ghconfig]# cp redis.conf redis79.conf #复制3份原来的配置文件
[root@guohui ghconfig]# cp redis.conf redis80.conf
[root@guohui ghconfig]# cp redis.conf redis81.conf
[root@guohui ghconfig]# ls
redis79.conf redis80.conf redis81.conf redis.conf #此时一共有四个redis配置文件
四、修改刚刚复制的配置文件
1、79.conf
(1)日志文件命名修改,因为有多个文件,就不能为空
(2)修改dump.rdb文件命名
至此,第一台6379服务器就配置好了!其他三台服务器也是按照上述的规则修改即可
2、80.conf和81.conf要在上述修改之外,修改prot端口号和pidfile
五、启动三台redis服务,在第四个服务器窗口,通过进程命令查看是否成功将三台伪服务器成功开启
开启成功!至此环境搭建完成!
宕机后手动配置主机
如果主机断开了,从机想让自己变成主节点,使用命令
slaveof no one
这样,其他的从节点就可以连接到新配置的主节点上了!如果这个时候主机修复了,就需要重新配置了
至此,关于Redis主从复制原理以及Redis集群搭建的方式介绍完毕,大家可以收藏反复学习。后续还会持续更新相关技术栈,敬请期待~