redis主从复制可以做读写分离,一台redis用于写数据,两台从机用于读数据。从机对于主机属于依附关系,对从机进行插入或者删除操作,从机会同步进行同步操作。如果主从复制结合sentinel哨兵,能够实现redis的高可用,在单台redis发生故障时进行故障迁移,sentinel起到监控功能,在主机down机后,将从机提升为主机,同样具备读写能力,而由于主从复制,从机也一直保存着故障主机的数据,从而实现了redis的高可用。
使用docker搭建应用能够充分利用容器和端口映射、目录映射的优势,通过容器启动不同的redis实例,映射不同的端口,实例间的交互模拟出分布式的场景实现伪集群的效果。
我们首先搭建三台redis实例,分别映射docker容器的redis-master:6379、redis-slave01:6380、redis-slave2:6381三个端口。
创建所需文件夹和日志文件:
redis-master:
/usr/local/tangv/redis/conf/redis-master.conf
/usr/local/tangv/redis/data/data-master
/usr/local/tangv/redis/log/redis-master.log
redis-slave01:
/usr/local/tangv/redis/conf/redis-slave01.conf
/usr/local/tangv/redis/data/data-slave01
/usr/local/tangv/redis/log/redis-slave01.log
redis-slave02:
/usr/local/tangv/redis/conf/redis-slave02.conf
/usr/local/tangv/redis/data/data-slave02
/usr/local/tangv/redis/log/redis-slave01.log
.conf文件是在本地编写的redis配置文件,.log为redis实例运行时产生的日志文件,data是存放备份数据的文件夹,在启动redis的RDB和AOF功能后,会将数据定期备份,防止机器故障导致的数据丢失。
配置redis配置文件:
即redis-master.conf,redis-slave01.conf,redis-slave02.conf。
主机配置文件(6379)
# 注释这一行,表示Redis可以接受任意ip的连接
# bind 127.0.0.1
#端口
port 6379
#可不填
pidfile /var/run/redis_6379.pid
# 关闭保护模式
protected-mode no
# 让redis服务后台运行
daemonize yes
# master密码,如果不设置从机就连不上主机,而故障迁移后主机也会变成从机,也同样需要密码连接新的主机
masterauth 123
# 设定密码(可选,如果这里开启了密码要求,slave的配置里就要加这个密码. 只是练习配置,就不使用密码认证了)
requirepass 123
# 配置日志路径,为了便于排查问题,指定redis的日志文件目录
logfile " /usr/log/redis-master.log "
# 从机只读设为no,故障迁移时从机会提升为主机,也需要写数据库的能力
replica-read-only no
#填真实ip和端口,哨兵集成springboot,如果从机被提升为主机,那么哨兵连接时需要主机地址才能ping通,不然连接时会获得docker默认的虚拟地址
replica-announce-ip 10.228.81.23
replica-announce-port 63379
从机1配置文件(6380)
//注释这一行,表示Redis可以接受任意ip的连接
# bind 127.0.0.1
port 6380
//可不填
pidfile /var/run/redis_6380.pid
//关闭保护模式
protected-mode no
//让redis服务后台运行
daemonize yes
//master密码,如果不设置从机就连不上主机,而故障迁移后主机也会变成从机,也同样需要密码连接新的主机
masterauth 123
//设定密码(可选,如果这里开启了密码要求,slave的配置里就要加这个密码)
requirepass 123
//设定主库的密码,用于认证,如果主库开启了requirepass选项这里就必须填相应的密码
masterauth 123
//设定master的IP和端口号,redis配置文件中的默认端口号是6379
//低版本的redis这里会是slaveof,意思是一样的,因为slave是比较敏感的词汇,所以在redis后面的版本中不在使用slave的概念,取而代之的是replica
//将10.228.81.23做为主,其余两台机器做从。ip和端口号按照机器和配置做相应修改。
replicaof 10.228.81.23 6379
//配置日志路径,为了便于排查问题,指定redis的日志文件目录
logfile " /usr/log/redis-slave01.log "
//从机只读设为no,故障迁移时从机会提升为主机,也需要写数据库的能力
replica-read-only no
//填真实ip和端口,哨兵集成springboot,如果从机被提升为主机,那么哨兵连接时需要主机地址才能ping通,不然连接时会获得docker默认的虚拟地址
replica-announce-ip 10.228.81.23
replica-announce-port 6380
从机2配置文件(6381)【只修改port即可】
//注释这一行,表示Redis可以接受任意ip的连接
# bind 127.0.0.1
port 6381
//可不填
pidfile /var/run/redis_6380.pid
//关闭保护模式
protected-mode no
//让redis服务后台运行
daemonize yes
//master密码,如果不设置从机就连不上主机,而故障迁移后主机也会变成从机,也同样需要密码连接新的主机
masterauth 123
//设定密码(可选,如果这里开启了密码要求,slave的配置里就要加这个密码)
requirepass 123
//设定主库的密码,用于认证,如果主库开启了requirepass选项这里就必须填相应的密码
masterauth 123
//设定master的IP和端口号,redis配置文件中的默认端口号是6379
//低版本的redis这里会是slaveof,意思是一样的,因为slave是比较敏感的词汇,所以在redis后面的版本中不在使用slave的概念,取而代之的是replica
将10.228.81.23做为主,其余两台机器做从。ip和端口号按照机器和配置做相应修改。
replicaof 10.228.81.23 6379
//配置日志路径,为了便于排查问题,指定redis的日志文件目录
logfile "/usr/log/redis-slave02.log "
//从机只读设为no,故障迁移时从机会提升为主机,也需要写数据库的能力
replica-read-only no
//填真实ip和端口,哨兵集成springboot,如果从机被提升为主机,那么哨兵连接时需要主机地址才能ping通,不然连接时会获得docker默认的虚拟地址
replica-announce-ip 10.228.81.23
replica-announce-port 6381
完成配置文件。
拉取docker镜像:
docker pull docker.io/redis:6.0.9
这里拉取的时6.0.9版本,6.0.6版本可能会导致启动异常。
使用docker启动3个容器,分别映射到6379、6380、6381端口:
docker run -it --name redis-master --privileged=true -v /usr/local/tangv/redis/conf/redis-master.conf:/usr/local/etc/redis/redis.conf -v /usr/local/tangv/redis/data/data-master:/data -v /usr/local/tangv/redis/log/redis-master.log:/usr/log/redis-master.log -p 6379:6379 -d docker.io/redis:6.0.9 /bin/bash
docker run -it --name redis-slave01 --privileged=true -v /usr/local/tangv/redis/conf/redis-slave01.conf:/usr/local/etc/redis/redis.conf -v /usr/local/tangv/redis/data/data-slave01:/data -v /usr/local/tangv/redis/log/redis-slave01.log:/usr/log/redis-slave01.log -p 6380:6380 -d docker.io/redis:6.0.9 /bin/bash
docker run -it --name redis-slave02 --privileged=true -v /usr/local/tangv/redis/conf/redis-slave02.conf:/usr/local/etc/redis/redis.conf -v /usr/local/tangv/redis/data/data-slave02:/data -v /usr/local/tangv/redis/log/redis-slave02.log:/usr/log/redis-slave02.log -p 6381:6381 -d docker.io/redis:6.0.9 /bin/bash
注意:容器内的端口(即冒号后面的)也可以全写26379,主从复制功能正常实现;但是如果这样,哨兵就分辨不出具体是容器内的哪个端口,导致哨兵模式失效,所以建议按以上指令配置。
容器启动后,依次启动各redis服务器:
启动redis服务器(主6379)
//以交互模式进入容器redis-master
$ docker exec -it redis-master bash
// 启动redis服务器,如果没有任何输出,就说明成功了,如果报错,可以用cat命令查看之前配置的日志,具体什么报错。
$ redis-server /usr/local/etc/redis/redis.conf
//在容器里启动一个redis客户端
$ redis-cli
# 执行info命令,查看服务器状态
127.0.0.1:6379> info replication
执行命令后输出:可以看到角色为master,连接了两台从机slave
role:master
connected_slaves:2
slave0:ip=172.17.0.1,port=6380,state=online,offset=69426,lag=0
slave1:ip=172.17.0.1,port=6381,state=online,offset=69426,lag=0
master_replid:ddb9244faee5a4a85f7b4c3ab8651398808db62f
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:69426
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:69426
//最后退出容器
$ exit
启动redis服务器(从6380)
//以交互模式进入容器redis-slave01
$ docker exec -it redis-slave01 bash
//没有日志文件路径需要创建日志文件目录,即配置文件中的logfile (这里如果不写,直接从下方redis-server开始会报错,错误就是没有这个)
//启动redis服务器,如果没有任何输出,就说明成功了,如果报错,可以用cat命令查看之前配置的日志,具体什么报错
$ redis-server /usr/local/etc/redis/redis.conf
//在容器里启动一个redis客户端,注意需要加上端口号6380
$ redis-cli -p 6380
//执行info命令,查看服务器状态(前方127.0.0.1:【6380】)
127.0.0.1:6380> info replication
role为slave,并且可以看到依附的master
//最后退出容器
$ exit
另一台从机也差不多,就不演示了。
如果运行不成功,可能是因为防火墙,需要添加防火墙例外端口6379,不然从节点监听不到主节点
主从复制就完成了,可以尝试在主机6379存一条数据;set goodboy tangwei,然后在从机6380或6381输入获取所有key值得指令:keys *,可以看到输出有goodboy键值。删除也可以试试。
下面配置哨兵,过程很相似。
创建所需文件夹文件:
sentinel01:
/usr/local/tangv/redis/sentinel/sentinel01.conf
/usr/local/tangv/redis/sentinel/redis-sentinel01.log
sentinel02:
/usr/local/tangv/redis/sentinel/sentinel02.conf
/usr/local/tangv/redis/sentinel/redis-sentinel02.log
sentinel03:
/usr/local/tangv/redis/sentinel/sentinel03.conf
/usr/local/tangv/redis/sentinel/redis-sentinel03.log
Sentinel配置文件配置,三个配置类似,sentinel01.conf为例:
port 26379
daemonize yes
sentinel announce-ip 10.228.81.23
sentinel announce-port 26379
dir /usr/local/sentinel
//修改监控的主redis服务器 ,最后一个2表示,两台机器判定主被动下线后,就进行failover(故障转移)
sentinel monitor redis-master 10.228.81.23 6379 2
sentinel auth-pass redis-master 123
注意不要给sentinel设置密码,因为整合springboot时,jedis还不支持sentinel password,这样会导致项目启动不成功。看了多个版本jedis的源码,低版本没有认证密码的代码,高版本已有认证代码但是没有提供开发者注入sentinel 密码的入口,想设置密码的可以使用其他的连接池。
创建三个sentinel容器:
docker run -it --name redis-sentinel01 --privileged=true -p 26379:26379 -v /usr/local/tangv/redis/sentinel/sentinel01.conf:/usr/local/etc/redis/sentinel.conf -v /usr/local/tangv/redis/sentinel/redis-sentinel01.log:/usr/log/redis-sentinel.log -d docker.io/redis:6.0.9 /bin/bash
docker run -it --name redis-sentinel02 --privileged=true -p 26380:26380 -v /usr/local/tangv/redis/sentinel/sentinel02.conf:/usr/local/etc/redis/sentinel.conf -v /usr/local/tangv/redis/sentinel/redis-sentinel02.log:/usr/log/redis-sentinel.log -d docker.io/redis:6.0.9 /bin/bash
docker run -it --name redis-sentinel03 --privileged=true -p 26381:26381 -v /usr/local/tangv/redis/sentinel/sentinel03.conf:/usr/local/etc/redis/sentinel.conf -v /usr/local/tangv/redis/sentinel/redis-sentinel03.log:/usr/log/redis-sentinel.log -d docker.io/redis:6.0.9 /bin/bash
交互模式进入容器:
docker exec -it redis-sentinel01 bash
启动redis服务器:
redis-sentinel /usr/local/etc/redis/sentinel.conf
Docker内新建文件夹(配置文件配置的):
cd usr/local/
mkdir sentinel
启动客户端:
redis-cli -p 26379
输入密码:
auth 123
大功告成,可以使用sentinel master redis-master,sentinel slave redis-master查看监控主机和从机的情况,所有参数都正常,说明连接上了,否则不成功。
如果是下图这样就失败了,正确的可以看到master的主机端口号等。
验证哨兵模式故障迁移:
ps -ef|grep redis 查看redis进程和对应pid
kill -9 pid 杀死主机(最开始是6379)进程
查看各redis状态变化,发现从机两个中的一个提升为主机,info replication查看role角色从slave提升为master,哨兵生效,主机6379挂了从机立马代替它执行任务。这个时候再重启6379,发现6379又变成了slave,可以多次试验。
主从复制和哨兵模式就结束了,大部分坑我都碰到了。只列出了个正确的步骤。有疑问的地方欢迎留言。
明天带来主从模式哨兵模式整合springboot,配置文件、配置类、集成jedis连接池以及redis的序列化,将redis整合到项目中。