docker pidfile_docker搭建redis主从复制哨兵模式

redis主从复制可以做读写分离,一台redis用于写数据,两台从机用于读数据。从机对于主机属于依附关系,对从机进行插入或者删除操作,从机会同步进行同步操作。如果主从复制结合sentinel哨兵,能够实现redis的高可用,在单台redis发生故障时进行故障迁移,sentinel起到监控功能,在主机down机后,将从机提升为主机,同样具备读写能力,而由于主从复制,从机也一直保存着故障主机的数据,从而实现了redis的高可用。

使用docker搭建应用能够充分利用容器和端口映射、目录映射的优势,通过容器启动不同的redis实例,映射不同的端口,实例间的交互模拟出分布式的场景实现伪集群的效果。

我们首先搭建三台redis实例,分别映射docker容器的redis-master:6379、redis-slave01:6380、redis-slave2:6381三个端口。

创建所需文件夹和日志文件:

redis-master:

/usr/local/tangv/redis/conf/redis-master.conf

/usr/local/tangv/redis/data/data-master

/usr/local/tangv/redis/log/redis-master.log

redis-slave01:

/usr/local/tangv/redis/conf/redis-slave01.conf

/usr/local/tangv/redis/data/data-slave01

/usr/local/tangv/redis/log/redis-slave01.log

redis-slave02:

/usr/local/tangv/redis/conf/redis-slave02.conf

/usr/local/tangv/redis/data/data-slave02

/usr/local/tangv/redis/log/redis-slave01.log

.conf文件是在本地编写的redis配置文件,.log为redis实例运行时产生的日志文件,data是存放备份数据的文件夹,在启动redis的RDB和AOF功能后,会将数据定期备份,防止机器故障导致的数据丢失。

配置redis配置文件:

即redis-master.conf,redis-slave01.conf,redis-slave02.conf。

主机配置文件(6379)

# 注释这一行,表示Redis可以接受任意ip的连接
# bind 127.0.0.1
#端口
port 6379

#可不填
​pidfile /var/run/redis_6379.pid

# 关闭保护模式
protected-mode no
# 让redis服务后台运行
daemonize yes
​# master密码,如果不设置从机就连不上主机,而故障迁移后主机也会变成从机,也同样需要密码连接新的主机

masterauth 123
# 设定密码(可选,如果这里开启了密码要求,slave的配置里就要加这个密码. 只是练习配置,就不使用密码认证了)
requirepass 123

# 配置日志路径,为了便于排查问题,指定redis的日志文件目录
logfile " /usr/log/redis-master.log "

# 从机只读设为no,故障迁移时从机会提升为主机,也需要写数据库的能力

replica-read-only no

#填真实ip和端口,哨兵集成springboot,如果从机被提升为主机,那么哨兵连接时需要主机地址才能ping通,不然连接时会获得docker默认的虚拟地址

replica-announce-ip 10.228.81.23

replica-announce-port 63379

从机1配置文件(6380)

//注释这一行,表示Redis可以接受任意ip的连接
# bind 127.0.0.1

port 6380

//可不填

pidfile /var/run/redis_6380.pid

//关闭保护模式
protected-mode no

//让redis服务后台运行
daemonize yes
//master密码,如果不设置从机就连不上主机,而故障迁移后主机也会变成从机,也同样需要密码连接新的主机

masterauth 123
//设定密码(可选,如果这里开启了密码要求,slave的配置里就要加这个密码)
requirepass 123

//设定主库的密码,用于认证,如果主库开启了requirepass选项这里就必须填相应的密码
masterauth 123

//设定master的IP和端口号,redis配置文件中的默认端口号是6379
//低版本的redis这里会是slaveof,意思是一样的,因为slave是比较敏感的词汇,所以在redis后面的版本中不在使用slave的概念,取而代之的是replica
//将10.228.81.23做为主,其余两台机器做从。ip和端口号按照机器和配置做相应修改。
replicaof 10.228.81.23 6379

//配置日志路径,为了便于排查问题,指定redis的日志文件目录
logfile " /usr/log/redis-slave01.log "

//从机只读设为no,故障迁移时从机会提升为主机,也需要写数据库的能力

replica-read-only no

//填真实ip和端口,哨兵集成springboot,如果从机被提升为主机,那么哨兵连接时需要主机地址才能ping通,不然连接时会获得docker默认的虚拟地址

replica-announce-ip 10.228.81.23

replica-announce-port 6380

从机2配置文件(6381)【只修改port即可】

//注释这一行,表示Redis可以接受任意ip的连接
# bind 127.0.0.1

port 6381

//可不填
​pidfile /var/run/redis_6380.pid
//关闭保护模式
protected-mode no

//让redis服务后台运行
daemonize yes

//master密码,如果不设置从机就连不上主机,而故障迁移后主机也会变成从机,也同样需要密码连接新的主机

masterauth 123

//设定密码(可选,如果这里开启了密码要求,slave的配置里就要加这个密码)
requirepass 123

//设定主库的密码,用于认证,如果主库开启了requirepass选项这里就必须填相应的密码
masterauth 123

//设定master的IP和端口号,redis配置文件中的默认端口号是6379
//低版本的redis这里会是slaveof,意思是一样的,因为slave是比较敏感的词汇,所以在redis后面的版本中不在使用slave的概念,取而代之的是replica
将10.228.81.23做为主,其余两台机器做从。ip和端口号按照机器和配置做相应修改。
replicaof 10.228.81.23 6379

//配置日志路径,为了便于排查问题,指定redis的日志文件目录
logfile "/usr/log/redis-slave02.log "

//从机只读设为no,故障迁移时从机会提升为主机,也需要写数据库的能力

replica-read-only no

//填真实ip和端口,哨兵集成springboot,如果从机被提升为主机,那么哨兵连接时需要主机地址才能ping通,不然连接时会获得docker默认的虚拟地址

replica-announce-ip 10.228.81.23

replica-announce-port 6381

完成配置文件。

拉取docker镜像:

docker pull docker.io/redis:6.0.9

这里拉取的时6.0.9版本,6.0.6版本可能会导致启动异常。

使用docker启动3个容器,分别映射到6379、6380、6381端口:

docker run -it --name redis-master --privileged=true -v /usr/local/tangv/redis/conf/redis-master.conf:/usr/local/etc/redis/redis.conf -v /usr/local/tangv/redis/data/data-master:/data -v /usr/local/tangv/redis/log/redis-master.log:/usr/log/redis-master.log -p 6379:6379 -d docker.io/redis:6.0.9 /bin/bash

docker run -it --name redis-slave01 --privileged=true -v /usr/local/tangv/redis/conf/redis-slave01.conf:/usr/local/etc/redis/redis.conf -v /usr/local/tangv/redis/data/data-slave01:/data -v /usr/local/tangv/redis/log/redis-slave01.log:/usr/log/redis-slave01.log -p 6380:6380 -d docker.io/redis:6.0.9 /bin/bash

docker run -it --name redis-slave02 --privileged=true -v /usr/local/tangv/redis/conf/redis-slave02.conf:/usr/local/etc/redis/redis.conf -v /usr/local/tangv/redis/data/data-slave02:/data -v /usr/local/tangv/redis/log/redis-slave02.log:/usr/log/redis-slave02.log -p 6381:6381 -d docker.io/redis:6.0.9 /bin/bash

注意:容器内的端口(即冒号后面的)也可以全写26379,主从复制功能正常实现;但是如果这样,哨兵就分辨不出具体是容器内的哪个端口,导致哨兵模式失效,所以建议按以上指令配置。

容器启动后,依次启动各redis服务器:

启动redis服务器(主6379)

//以交互模式进入容器redis-master

$ docker exec -it redis-master bash

// 启动redis服务器,如果没有任何输出,就说明成功了,如果报错,可以用cat命令查看之前配置的日志,具体什么报错。

$ redis-server /usr/local/etc/redis/redis.conf

//在容器里启动一个redis客户端

$ redis-cli

# 执行info命令,查看服务器状态

127.0.0.1:6379> info replication

​执行命令后输出:可以看到角色为master,连接了两台从机slave

role:master

connected_slaves:2

slave0:ip=172.17.0.1,port=6380,state=online,offset=69426,lag=0

slave1:ip=172.17.0.1,port=6381,state=online,offset=69426,lag=0

master_replid:ddb9244faee5a4a85f7b4c3ab8651398808db62f

master_replid2:0000000000000000000000000000000000000000

master_repl_offset:69426

second_repl_offset:-1

repl_backlog_active:1

repl_backlog_size:1048576

repl_backlog_first_byte_offset:1

repl_backlog_histlen:69426

//最后退出容器

$ exit

启动redis服务器(从6380)

//以交互模式进入容器redis-slave01
$ docker exec -it redis-slave01 bash

//没有日志文件路径需要创建日志文件目录,即配置文件中的logfile (这里如果不写,直接从下方redis-server开始会报错,错误就是没有这个)
//启动redis服务器,如果没有任何输出,就说明成功了,如果报错,可以用cat命令查看之前配置的日志,具体什么报错
$ redis-server /usr/local/etc/redis/redis.conf

//在容器里启动一个redis客户端,注意需要加上端口号6380
$ redis-cli -p 6380

//执行info命令,查看服务器状态(前方127.0.0.1:【6380】)
127.0.0.1:6380> info replication
​role为slave,并且可以看到依附的master
//最后退出容器
$ exit

另一台从机也差不多,就不演示了。

如果运行不成功,可能是因为防火墙,需要添加防火墙例外端口6379,不然从节点监听不到主节点

主从复制就完成了,可以尝试在主机6379存一条数据;set goodboy tangwei,然后在从机6380或6381输入获取所有key值得指令:keys *,可以看到输出有goodboy键值。删除也可以试试。

下面配置哨兵,过程很相似。

创建所需文件夹文件:

sentinel01:

/usr/local/tangv/redis/sentinel/sentinel01.conf

/usr/local/tangv/redis/sentinel/redis-sentinel01.log

sentinel02:

/usr/local/tangv/redis/sentinel/sentinel02.conf

/usr/local/tangv/redis/sentinel/redis-sentinel02.log

sentinel03:

/usr/local/tangv/redis/sentinel/sentinel03.conf

/usr/local/tangv/redis/sentinel/redis-sentinel03.log

Sentinel配置文件配置,三个配置类似,sentinel01.conf为例:

port 26379

daemonize yes

sentinel announce-ip 10.228.81.23

sentinel announce-port 26379

dir /usr/local/sentinel

//修改监控的主redis服务器 ,最后一个2表示,两台机器判定主被动下线后,就进行failover(故障转移)

sentinel monitor redis-master 10.228.81.23 6379 2

sentinel auth-pass redis-master 123

注意不要给sentinel设置密码,因为整合springboot时,jedis还不支持sentinel password,这样会导致项目启动不成功。看了多个版本jedis的源码,低版本没有认证密码的代码,高版本已有认证代码但是没有提供开发者注入sentinel 密码的入口,想设置密码的可以使用其他的连接池。

创建三个sentinel容器:

docker run -it --name redis-sentinel01 --privileged=true -p 26379:26379 -v /usr/local/tangv/redis/sentinel/sentinel01.conf:/usr/local/etc/redis/sentinel.conf -v /usr/local/tangv/redis/sentinel/redis-sentinel01.log:/usr/log/redis-sentinel.log -d docker.io/redis:6.0.9 /bin/bash

docker run -it --name redis-sentinel02 --privileged=true -p 26380:26380 -v /usr/local/tangv/redis/sentinel/sentinel02.conf:/usr/local/etc/redis/sentinel.conf -v /usr/local/tangv/redis/sentinel/redis-sentinel02.log:/usr/log/redis-sentinel.log -d docker.io/redis:6.0.9 /bin/bash

docker run -it --name redis-sentinel03 --privileged=true -p 26381:26381 -v /usr/local/tangv/redis/sentinel/sentinel03.conf:/usr/local/etc/redis/sentinel.conf -v /usr/local/tangv/redis/sentinel/redis-sentinel03.log:/usr/log/redis-sentinel.log -d docker.io/redis:6.0.9 /bin/bash

交互模式进入容器:

docker exec -it redis-sentinel01 bash

启动redis服务器:

redis-sentinel /usr/local/etc/redis/sentinel.conf

Docker内新建文件夹(配置文件配置的):

cd usr/local/

mkdir sentinel

启动客户端:

redis-cli -p 26379

输入密码:

auth 123

大功告成,可以使用sentinel master redis-master,sentinel slave redis-master查看监控主机和从机的情况,所有参数都正常,说明连接上了,否则不成功。

如果是下图这样就失败了,正确的可以看到master的主机端口号等。

b2de88f0234e399a6335abd292ab76eb.png

验证哨兵模式故障迁移:

ps -ef|grep redis 查看redis进程和对应pid

kill -9 pid 杀死主机(最开始是6379)进程

查看各redis状态变化,发现从机两个中的一个提升为主机,info replication查看role角色从slave提升为master,哨兵生效,主机6379挂了从机立马代替它执行任务。这个时候再重启6379,发现6379又变成了slave,可以多次试验。

主从复制和哨兵模式就结束了,大部分坑我都碰到了。只列出了个正确的步骤。有疑问的地方欢迎留言。

明天带来主从模式哨兵模式整合springboot,配置文件、配置类、集成jedis连接池以及redis的序列化,将redis整合到项目中。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值