CentOS Redis replication以及master持久化主从架构搭建与部署哨兵Sentinal集群

编写日期：2017-07-26

编写作者：mtsbv110

邮    箱：2532874889@qq.com

 

主机规划：192.168.9.151（Master Node+sentinal）

Redis版本：redis-3.2.8.tar.gz

安装目录：/usr/local/redis

 

主机规划：192.168.9.152  (Slave Node+sentinal)

Redis版本：redis-3.2.8.tar.gz

安装目录：/usr/local/redis

 

主机规划：192.168.9.153（sentinal）

Redis版本：redis-3.2.8.tar.gz

安装目录：/usr/local/redis

 

 

 

一、redis replication基本原理：

 

（1）redis采用异步方式复制数据到slave节点， slave node会周期性地确认自己每次复制的数据量（master节点，必须要使用持久化机制）

（2）一个master node是可以配置多个slave node的

（3）slave node也可以连接其他的slave node

（4）slave node做复制的时候，是不会block master node的正常写操作的。

（5）slave node在做复制的时候，也不会block对自己的查询操作，它会用旧的数据集来提供服务; 但是复制完成的时候，需要删除旧数据集，加载新数据集，这个时候就会暂停对外服务了。（ms~s直接的）

（6）slave node主要用来进行横向扩容，做读写分离，扩容的slave node可以提高读的吞吐量

 

二、主从复制的特征

主从复制的断点续传

支持主从复制的断点续传，如果主从复制过程中，网络连接断掉了，那么可以接着上次复制的地方，继续复制下去，而不是从头开始复制一份。Master Node会在内存中建一个backlog，master和slave都会保存一个replication offset还有一个master id，offset就是保存在backlog中的。如果master和slave网络连接断掉了，slave会让master从上次的replication offset开始继续复制

但是如果没有找到对应的offset，那么就会执行一次resynchronization(全量复制)。

 

无磁盘化复制

master在内存中直接创建rdb，然后发送给slave，不会在自己本地落地磁盘了

repl-diskless-sync no(默认没有开启)

repl-diskless-sync-delay，等待一定时长再开始复制，因为要等更多slave重新连接过来

 

过期key处理

slave不会过期key，只会等待master过期key。如果master过期了一个key，或者通过LRU淘汰了一个key，那么会模拟一条del命令发送给slave。

 

三、redis replication完整流运行程和原理的深入剖析

1、复制的完整流程

（1）slave node启动，仅仅保存master node的信息，包括master node的host和ip，但是复制流程没开始

master host和ip是从哪儿来的，redis.conf里面的slaveof配置的

（2）slave node内部有个定时任务，每秒检查是否有新的master node要连接和复制，如果发现，就跟master node建立socket网络连接

（3）slave node发送ping命令给master node

（4）口令认证，如果master设置了requirepass，那么salve node必须发送masterauth的口令过去进行认证

（5）master node第一次执行全量复制，将所有数据发给slave node

（6）master node后续持续将写命令，异步复制给slave node

 

2、数据同步相关的核心机制

指的就是第一次slave连接msater的时候，执行的全量复制，那个过程里面你的一些细节的机制

（1）master和slave都会维护一个offset

master会在自身不断累加offset，slave也会在自身不断累加offset

slave每秒都会上报自己的offset给master，同时master也会保存每个slave的offset

 

这个倒不是说特定就用在全量复制的，主要是master和slave都要知道各自的数据的offset，才能知道互相之间的数据不一致的情况

（2）backlog

master node有一个backlog，默认是1MB大小

master node给slave node复制数据时，也会将数据在backlog中同步写一份

backlog主要是用来做全量复制中断的增量复制

（3）master run id

info server，可以看到master run id

如果根据host+ip定位master node，是不靠谱的，如果master node重启或者数据出现了变化，那么slave node应该根据不同的run id区分，run id不同就做全量复制

如果需要不更改run id重启redis，可以使用redis-cli debug reload命令

（4）psync

Slave节点使用psync从master node进行复制，psync (runid +offset)

master node会根据自身的情况返回响应信息，可能是FULLRESYNC runid offset触发全量复制，可能是CONTINUE触发增量复制

3、全量复制

（1）master执行bgsave，在本地生成一份rdb快照文件

（2）master node将rdb快照文件发送给salve node，如果rdb复制时间超过60秒（repl-timeout），那么slave node就会认为复制失败，可以适当调节大这个参数

（3）对于千兆网卡的机器，一般每秒传输100MB，6G文件，很可能超过60s.(根据RDB文件大小对repl-timeout调整)

（4）master node在生成rdb时，会将所有新的写命令缓存在内存中，在salve node保存了rdb之后，再将新的写命令复制给salve node

（5）client-output-buffer-limit slave 256MB 64MB 60，如果在复制期间，内存缓冲区持续消耗超过64MB，或者一次性超过256MB，那么停止复制，复制失败

（6）slave node接收到rdb之后，清空自己的旧数据，然后重新加载rdb到自己的内存中，同时基于旧的数据版本对外提供服务

（7）如果slave node开启了AOF，那么会立即执行BGREWRITEAOF，重写AOF

rdb生成、rdb通过网络拷贝、slave旧数据的清理、slave aof rewrite，很耗费时间

如果复制的数据量在4G~6G之间，那么很可能全量复制时间消耗到1分半到2分钟

4、增量复制

（1）如果全量复制过程中，master-slave网络连接断掉，那么salve重新连接master时，会触发增量复制

（2）master直接从自己的backlog中获取部分丢失的数据，发送给slave node，默认backlog就是1MB

（3）master就是根据slave发送的psync中的offset来从backlog中获取数据的

5、heartbeat

主从节点互相都会发送heartbeat信息

master默认每隔10秒发送一次heartbeat，salve node每隔1秒发送一个heartbeat

6、异步复制

master每次接收到写命令之后，现在内部写入数据，然后异步发送给slave node

 

四、部署redis的读写分离架构

1、Master与Slave主机名设置

分别在设置Master机器与Slave机器主机名与IP的映射关系

192.168.9.151 jetsen-analysis-redis01

192.168.9.152 jetsen-analysis-redis02

2、修改Master与Salve 6379.conf bind信息

[root@jetsen-analysis-redis01 conf]# vim /usr/local/redis/conf/6379.conf

[root@jetsen-analysis-redis02 conf]# vim /usr/local/redis/conf/6379.conf

 

修改bind信息，以免主从复制失败

Master: bind 192.168.9.151

Slave:  bind 192.168.9.152

bind 127.0.0.1 -> 本地的开发调试的模式，就只能127.0.0.1本地才能访问到6379的端口

3、配置Slave上Slave-of信息

[root@jetsen-analysis-redis02 ~]# vim /usr/local/redis/conf/6379.conf

slaveof 192.168.9.151 6379

4、强制读写分离

在Slave 配置文件中设置slave-read-only yes（默认yes）

开启了只读的redis slave node，会拒绝所有的写操作，这样可以强制搭建成读写分离的架构

5、集群安全认证

可以通过设置主、从 配置文件中的requirepass 设置认证。

6、先后启动主、从节点

jetsen-analysis-redis01 启动
[root@jetsen-analysis-redis01 conf]# /etc/rc.d/init.d/redis start

再启动从节点，jetsen-analysis-redis02上的redis实例

[root@jetsen-analysis-redis02 conf]# /etc/rc.d/init.d/redis start

 

7、验证是否连接正常

[root@jetsen-analysis-redis02 conf]# yum install -y telnet

 

五、./redis-benchmark压力测试

./redis-benchmark -h 192.168.9.151

-c <clients>       Number of parallel connections (default 50)

-n <requests>      Total number of requests (default 100000)

-d <size>          Data size of SET/GET value in bytes (default 2)

 

根据你自己的高峰期的访问量，在高峰期，瞬时最大用户量会达到

10万+，-c 100000，-n 10000000，-d 50

六、经典的3节点方式部署哨兵sentinal集群

哨兵架构的相关基础知识的讲解

主要功能：

（1）集群监控，负责监控redis master和slave进程是否正常工作

（2）消息通知，如果某个redis实例有故障，那么哨兵负责发送消息作为报警通知给管理员

（3）故障转移，如果master node挂掉了，会自动转移到slave node上

（4）配置中心，如果故障转移发生了，通知client客户端新的master地址

 

哨兵的核心知识：

（1）哨兵至少需要3个实例，来保证自己的健壮性

（2）哨兵 + redis主从的部署架构，是不会保证数据零丢失的，只能保证redis集群的高可用性

（3）对于哨兵 + redis主从这种复杂的部署架构，尽量在测试环境和生产环境，都进行充足的测试和演练

 

哨兵主备切换的数据丢失问题：异步复制、集群脑裂

min-slaves-to-write 1

min-slaves-max-lag 10

 

要求至少有1个slave，数据复制和同步的延迟不能超过10秒

如果说一旦所有的slave，数据复制和同步的延迟都超过了10秒钟，那么这个时候，master就不会再接收任何请求了

上面两个配置可以减少异步复制和脑裂导致的数据丢失

哨兵节点进行管理以及高可用redis集群的容灾

以下配置三个节点同时配置

1. 目录规划

[root@jetsen-analysis-redis01 redis3.0]

[root@jetsen-analysis-redis02 redis3.0]

[root@jetsen-analysis-redis03 redis3.0]

 

mkdir -p /usr/local/sentinel  存放5000.conf配置文件

mkdir -p /usr/local/sentinal/5000  耗时的进程工作目录working-directory

mkdir -p /usr/local/sentinal/log/5000存放5000.conf日志文件

1. 拷贝哨兵模板文件，并将其命名为5000.conf

[root@jetsen-analysis-redis01 redis3.0]# cp /usr/local/src/redis3.0/sentinel.conf

 /usr/local/sentinel/

[root@jetsen-analysis-redis01 sentinel]#mv sentinel.conf 5000.conf

[root@jetsen-analysis-redis02 redis3.0]# cp /usr/local/src/redis3.0/sentinel.conf

 /usr/local/sentinel/

[root@jetsen-analysis-redis02 sentinel]#mv sentinel.conf 5000.conf

 

[root@jetsen-analysis-redis03redis3.0]# cp /usr/local/src/redis3.0/sentinel.conf

 /usr/local/sentinel/

[root@jetsen-analysis-redis03 sentinel]#mv sentinel.conf 5000.conf

 

1. 修改5000.conf

# sentinel monitor <master-name> <ip> <redis-port> <quorum>

sentinel monitor mymaster 192.168.9.151 6379 2

指定对一个master的监控，给监控的master指定的一个名称

 

# sentinel down-after-milliseconds <master-name> <milliseconds>

# Default is 30 seconds.

sentinel down-after-milliseconds mymaster 30000

超过多少毫秒跟一个redis实例断了连接，哨兵就认为这个redis实例挂了

 

# sentinel failover-timeout <master-name> <milliseconds>

# Default is 3 minutes. update 1 miniutes

sentinel failover-timeout mymaster 60000

执行故障转移的timeout超时时长

 

# sentinel parallel-syncs <master-name> <numslaves>

sentinel parallel-syncs mymaster 1

新的master别切换之后，同时有多少个slave被切换到去连接新master，重新做同步，数字越低，花费的时间越多

4、哨兵默认用26379端口，默认不能跟其他机器在指定端口连通，只能在本地访问

   在192.168.9.151机器上:bind 192.168.9.151

   在192.168.9.152机器上:bind 192.168.9.152

   在192.168.9.153机器上:bind 192.168.9.153

5、修改senntinel端口

在192.168.9.151机器上: port 5000

   在192.168.9.152机器上: port 5000

   在192.168.9.153机器上: port 5000

6、修改working-directory

在192.168.9.151机器上：dir /usr/local/sentinal/5000

在192.168.9.152机器上：dir /usr/local/sentinal/5000

在192.168.9.153机器上：dir /usr/local/sentinal/5000

7、在5000.conf开启后台运行

在192.168.9.151机器上：daemonize yes

在192.168.9.152机器上：daemonize yes

在192.168.9.153机器上：daemonize yes

8、指定logfile的文件目录

在192.168.9.151机器上：logfile /usr/local/sentinal/log/5000/sentinal.log

在192.168.9.152机器上：logfile /usr/local/sentinal/log/5000/sentinal.log

在192.168.9.153机器上：logfile /usr/local/sentinal/log/5000/sentinal.log

9、在192.168.9.151、192.168.9.152、192.168..153三台机器上，分别启动三个哨兵进程，组成一个集群，观察一下日志的输出

redis-sentinel /usr/local/sentinal/5000.conf

10、连接到哨兵

[root@jetsen-analysis-redis01 5000]# redis-cli -h 192.168.9.151 -p 5000

SENTINEL master mymaster

SENTINEL slaves mymaster

 

SENTINEL sentinels mymaster

 

SENTINEL get-master-addr-by-name mymaster

10、检查日志输出

[root@jetsen-analysis-redis01 5000]#

 tail -100f /usr/local/sentinal/log/5000/sentinel.log

[root@jetsen-analysis-redis02 5000]#

 tail -100f /usr/local/sentinal/log/5000/sentinel.log

[root@jetsen-analysis-redis03 5000]#
 tail -100f /usr/local/sentinal/log/5000/sentinel.log

 

11、哨兵节点的增加、删除、停止

增加sentinal，会自动发现，重复上述步骤即可

删除sentinal的步骤

（1）停止sentinal进程

（2）SENTINEL RESET *，在所有sentinal上执行，清理所有的master状态

（3）SENTINEL MASTER mastername，在所有sentinal上执行，查看所有sentinal对数量是否达成了一致

停止哨兵

redis-cli -h 192.168.9.151 -p 5000

12、slave的永久下线

让master摘除某个已经下线的slave：SENTINEL RESET mastername，在所有的哨兵上面执行