1.redis安装地址
地址:https://blog.csdn.net/yinjinshui/article/details/102519547
2.什么是主从复制
主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(master),后者称为从节点(slave),数据的复制是单向的,只能由主节点到从节点。
默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。
3.主从复制的作用
- 数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
- 故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。
- 负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。
- 读写分离:可以用于实现读写分离,主库写、从库读,读写分离不仅可以提高服务器的负载能力,同时可根据需求的变化,改变从库的数量;
- 高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。
4.主从复制启用【需要两台redis服务器以上】
从节点开启主从复制,3种方式:
1.修改主(master)配置文件
【该配置是5以下】
在从服务器的配置文件中加入:slaveof <masterip> <masterport>
【redis版本是5以上的】
在从服务器的配置文件中加入:replicaof <masterip> <masterport>
2.启动命令【操作slave(从节点)】
redis-server启动命令后加入 --slaveof <masterip> <masterport>
#方式1【5.0以下】
[root@localhost src]# ./redis-server --slaveof 192.168.11.43 6379
#方式2 【5.0以上】
[root@localhost src]# ./redis-server --replicaof 192.168.11.43 6379
slave redis服务器信息(截图):
3. 客户端命令【操作slave(从节点)】
slave Redis服务器启动后:
进入redis-cli客户端执行:slaveof <masterip> <masterport>
#方式1【5.0以下】
127.0.0.1:6379> slaveof 192.168.11.43 6379
#方式2 【5.0以上】
127.0.0.1:6379> replicaof 192.168.11.43 6379
slave redis服务器信息(截图):
【注意:通过 info replication 命令可以看到主从复制的信息】
5.主从复制原理
主从复制过程大体可以分为3个阶段:连接建立阶段(即准备阶段)、数据同步阶段、命令传播阶段。
主从配置之后的日志记录也可以看出这个流程
1》从节点会保存主节点(master)信息
执行 slaveof/replicaof 后 Redis 会打印如下日志:
2》从节点(slave)内部通过每秒运行的定时任务维护复制相关逻辑,当定时任务发现存在新的主节点后,会尝试与该节点建立网络连接
从节点与主节点建立网络连接
从节点会建立一个 socket 套接字,从节点建立了一个端口为14207的套接字,专门用于接受主节点发送的复制命令。从节点连接成功后打印如下日志:关于连接失败,可以在从节点执行 info replication 查看 master_link_down_since_seconds 指标,它会记录与主节点连接失败的系统时间。从节点连接主节点失败时也会每秒打印如下日志,方便发现问题:
# Error condition on socket for SYNC: {socket_error_reason}
3》发送ping命令
连接建立成功后从节点发送 ping 请求进行首次通信,ping 请求主要目的如下:
- 检测主从之间网络套接字是否可用;
- 检测主节点当前是否可接受处理命令;
- 如果发送 ping 命令后,从节点没有收到主节点的 pong 回复或者超时,比如网络超时或者主节点正在阻塞无法响应命令,从节点会断开复制连接,下次定时任务会发起重连。
从节点发送的 ping 命令成功返回,Redis 打印如下日志,并继续后续复制流程:
4》权限验证。如果主节点设置了 requirepass 参数,则需要密码验证,从节点必须配置 masterauth 参数保证与主节点相同的密码才能通过验证;如果验证失败复制将终止,从节点重新发起复制流程。
5》同步数据集。主从复制连接正常通信后,对于首次建立复制的场景,主节点会把持有的数据全部发送给从节点,这部分操作是耗时最长的步骤。
6》命令持续复制。当主节点把当前的数据同步给从节点后,便完成了复制的建立流程。接下来主节点会持续地把写命令发送给从节点,保证主从数据一致性。
【查看主从复制原理命令:info replication】
6.主从复制 redis.conf配置文件说明
################################# REPLICATION #################################
#复制选项,slave复制对应的master。
# slaveof <masterip> <masterport> 【5.0以下】
# replicaof <masterip> <masterport> 【5.0以上】
#如果master设置了requirepass,那么slave要连上master,需要有master的密码才行。
masterauth就是用来配置master的密码,这样可以在连上master后进行认证。
# masterauth <master-password>
#当从库同主机失去连接或者复制正在进行,从机库有两种运行方式:
1) 如果slave-serve-stale-data设置为yes(默认设置),从库会继续响应客户端的请求。
2) 如果slave-serve-stale-data设置为no,除去INFO和SLAVOF命令之外的任何请求都会返回一个错误”SYNC with master in progress”。
slave-serve-stale-data yes
#作为从服务器,默认情况下是只读的(yes),可以修改成NO,用于写(不建议)。
slave-read-only yes
#是否使用socket方式复制数据。目前redis复制提供两种方式,disk和socket。
如果新的slave连上来或者重连的slave无法部分同步,就会执行全量同步,master会生成rdb文件。
有2种方式:
disk方式是master创建一个新的进程把rdb文件保存到磁盘,再把磁盘上的rdb文件传递给slave。
socket是master创建一个新的进程,直接把rdb文件以socket的方式发给slave。
disk方式的时候,当一个rdb保存的过程中,多个slave都能共享这个rdb文件。
socket的方式就的一个个slave顺序复制。在磁盘速度缓慢,网速快的情况下推荐用socket方式。
repl-diskless-sync no
#diskless复制的延迟时间,防止设置为0。一旦复制开始,节点不会再接收新slave的复制请求直到下一个rdb传输。所以最好等待一段时间,等更多的slave连上来。
repl-diskless-sync-delay 5
#slave根据指定的时间间隔向服务器发送ping请求。时间间隔可以通过 repl_ping_slave_period 来设置,默认10秒。
# repl-ping-slave-period 10
#复制连接超时时间。master和slave都有超时时间的设置。
master检测到slave上次发送的时间超过repl-timeout,即认为slave离线,清除该slave信息。
slave检测到上次和master交互的时间超过repl-timeout,则认为master离线。
需要注意的是repl-timeout需要设置一个比repl-ping-slave-period更大的值,不然会经常检测到超时。
# repl-timeout 60
#是否禁止复制tcp链接的tcp nodelay参数,可传递yes或者no。默认是no,即使用tcp nodelay。
如果master设置了yes来禁止tcp nodelay设置,在把数据复制给slave的时候,会减少包的数量和更小的网络带宽。但是这也可能带来数据的延迟。
默认我们推荐更小的延迟,但是在数据量传输很大的场景下,建议选择yes。
repl-disable-tcp-nodelay no
#复制缓冲区大小,这是一个环形复制缓冲区,用来保存最新复制的命令。
这样在slave离线的时候,不需要完全复制master的数据,如果可以执行部分同步,只需要把缓冲区的部分数据复制给slave,就能恢复正常复制状态。
缓冲区的大小越大,slave离线的时间可以更长,复制缓冲区只有在有slave连接的时候才分配内存。
没有slave的一段时间,内存会被释放出来,默认1m。
# repl-backlog-size 5mb
#master没有slave一段时间会释放复制缓冲区的内存,repl-backlog-ttl用来设置该时间长度。单位为秒。
# repl-backlog-ttl 3600
#当master不可用,Sentinel会根据slave的优先级选举一个master。最低的优先级的slave,当选master。而配置成0,永远不会被选举。
slave-priority 100
#redis提供了可以让master停止写入的方式,如果配置了min-slaves-to-write,健康的slave的个数小于N,mater就禁止写入。
master最少得有多少个健康的slave存活才能执行写命令。
这个配置虽然不能保证N个slave都一定能接收到master的写操作,但是能避免没有足够健康的slave的时候,master不能写入来避免数据丢失。设置为0是关闭该功能。
# min-slaves-to-write 3
#延迟小于min-slaves-max-lag秒的slave才认为是健康的slave。
# min-slaves-max-lag 10