Docker Compose搭建三主三从Redis集群

前提

linux系统、Docker、Docker Compose
以上相关搭建不做赘述,可查阅资料,其中Docker Compose有很多文档里是不正确的,建议使用github的方式安装。

大坑

如果是本地搭建,使用host模式或者默认bridge或者自定义网络,均无影响,redis集群间的容器互相访问时无任何外网流量产生。但是当在远程服务器,如阿里云使用docker搭建redis集群时,则强烈建议使用自定义网络或者bridge模式,如果使用host模式,则容器间通信使用的是公网带宽,容易造成欠费。具体可参考【日常总结】docker容器相互调用,占用服务器带宽解决方案
下文均采用自定义网络模式

集群节点规划

在这里插入图片描述
如果使用自定义网络,则该处的宿主机IP为远程服务器的公网IP即可。

拉取Redis镜像

本文采用Redis6.0.8。

docker search redis:6.0.8
docker pull redis:6.0.8

创建自定义网络

创建自定义网络,并规定网段,该网段为自定义,只要和阿里云的内网IP网段不冲突。

docker network  create redis --subnet 172.38.0.0/16

编写需要挂载的目录的shell脚本

命名为redis-cluster-config.sh

for port in `seq 6391 6396`; do \
mkdir -p ./redis-${port}/conf && PORT=${port} envsubst < ./redis-cluster.tmpl > ./redis-${port}/conf/redis.conf && mkdir -p ./redis-${port}/data; \
done

编写Redis配置的脚本文件(自定义网络模式)

命名为redis-cluster.tmpl
requirepass 和 masterauth 配置的密码在后续初始化集群时要使用,这俩密码尽量保持一致
cluster-announce-ip为自定义网络的网段IP,比如172.38.0.11、172.38.0.12、172.38.0.13等

bind 0.0.0.0
# redis端口
port ${PORT}
tcp-backlog 511
timeout 0
tcp-keepalive 300
supervised no
pidfile /var/run/redis_${PORT}.pid
databases 16
always-show-logo yes
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
dir /data/
repl-disable-tcp-nodelay no
slave-priority 100
maxclients 60000
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
slave-lazy-flush no
#redis 访问密码
requirepass 123456
#redis 访问Master节点密码
masterauth 123456
# 关闭保护模式
protected-mode no
# 开启集群
cluster-enabled yes
# 集群节点配置
cluster-config-file nodes_${PORT}.conf
# 超时
cluster-node-timeout 5000
# 集群节点IP host模式为宿主机IP,远程服务器的公网IP
cluster-announce-ip 172.38.0.1
# 集群节点端口 6391 - 6396
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}
# 开启 appendonly 备份模式
appendonly yes
appendfilename "appendonly.aof"
# 每秒钟备份
appendfsync everysec
# 对aof文件进行压缩时,是否执行同步操作
no-appendfsync-on-rewrite no
# 当目前aof文件大小超过上一次重写时的aof文件大小的100%时会再次进行重写
auto-aof-rewrite-percentage 100
# 重写前AOF文件的大小最小值 默认 64mb
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble no
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
# 日志配置
# debug:会打印生成大量信息,适用于开发/测试阶段
# verbose:包含很多不太有用的信息,但是不像debug级别那么混乱
# notice:适度冗长,适用于生产环境
# warning:仅记录非常重要、关键的警告消息
loglevel notice
# 日志文件路径
logfile "/data/redis.log"

编写Redis配置的脚本文件(HOST模式)

远程服务器的公网IP
命名为redis-cluster.tmpl

bind 0.0.0.0
# redis端口
port ${PORT}
tcp-backlog 511
timeout 0
tcp-keepalive 300
supervised no
pidfile /var/run/redis_${PORT}.pid
databases 16
always-show-logo yes
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
dir /data/
repl-disable-tcp-nodelay no
slave-priority 100
maxclients 60000
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
slave-lazy-flush no
#redis 访问密码
requirepass 123456
#redis 访问Master节点密码
masterauth 123456
# 关闭保护模式
protected-mode no
# 开启集群
cluster-enabled yes
# 集群节点配置
cluster-config-file nodes_${PORT}.conf
# 超时
cluster-node-timeout 5000
# 集群节点IP host模式为宿主机IP,远程服务器的公网IP
cluster-announce-ip 8.5.6.1
# 集群节点端口 6791 - 6796
cluster-announce-port ${PORT}
cluster-announce-bus-port 1${PORT}
# 日志配置
# debug:会打印生成大量信息,适用于开发/测试阶段
# verbose:包含很多不太有用的信息,但是不像debug级别那么混乱
# notice:适度冗长,适用于生产环境
# warning:仅记录非常重要、关键的警告消息
loglevel notice
# 日志文件路径
logfile "/data/redis.log"

执行脚本文件

将redis-cluster.tmpl和redis-cluster-config.sh上传至 /home/data/redis-cluster,执行 ./redis-cluster-config.sh
/home/data/redis-cluste是需要挂载文件的目录地址,需要和后续的编排文件对应个人自行定义。

该挂载目录的权限一定要设置好

编写编排compose文件(自定义网络模式)

命名为redis_compose.yml

version: "3"
services:
  redis-m6391:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-m6391 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    ports: # 映射端口,对外提供服务
      - 6391:6391 # redis的服务端口
      - 16391:16391 # redis集群监控端口
    #使用自定义网络,并在规定的网段内写死IP
    networks:
      #自定义网络名称为redis
      redis:
       ipv4_address: 172.38.0.11
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster/redis-6391/data:/data",
      "/home/data/redis-cluster/redis-6391/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
  redis-m6392:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-m6392 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    ports: # 映射端口,对外提供服务
      - 6392:6392 # redis的服务端口
      - 16392:16392 # redis集群监控端口
    #使用自定义网络,并在规定的网段内写死IP
    networks:
      #自定义网络名称为redis
      redis:
       ipv4_address: 172.38.0.12
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster/redis-6392/data:/data",
      "/home/data/redis-cluster/redis-6392/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
  redis-m6393:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-m6393 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    ports: # 映射端口,对外提供服务
      - 6393:6393 # redis的服务端口
      - 16393:16393 # redis集群监控端口
    #使用自定义网络,并在规定的网段内写死IP
    networks:
      #自定义网络名称为redis
      redis:
       ipv4_address: 172.38.0.13
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster/redis-6393/data:/data",
      "/home/data/redis-cluster/redis-6393/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
  redis-s6394:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-s6394 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    ports: # 映射端口,对外提供服务
      - 6394:6394 # redis的服务端口
      - 16394:16394 # redis集群监控端口
    #使用自定义网络,并在规定的网段内写死IP
    networks:
      #自定义网络名称为redis
      redis:
       ipv4_address: 172.38.0.14
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster/redis-6394/data:/data",
      "/home/data/redis-cluster/redis-6394/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
  redis-s6395:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-s6395 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    ports: # 映射端口,对外提供服务
      - 6395:6395 # redis的服务端口
      - 16395:16395 # redis集群监控端口
    #使用自定义网络,并在规定的网段内写死IP
    networks:
      #自定义网络名称为redis
      redis:
       ipv4_address: 172.38.0.15
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster/redis-6395/data:/data",
      "/home/data/redis-cluster/redis-6395/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
  redis-s6396:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-s6396 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    ports: # 映射端口,对外提供服务
      - 6396:6396 # redis的服务端口
      - 16396:16396 # redis集群监控端口
    #使用自定义网络,并在规定的网段内写死IP
    networks:
      #自定义网络名称为redis
      redis:
       ipv4_address: 172.38.0.16
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster/redis-6396/data:/data",
      "/home/data/redis-cluster/redis-6396/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
networks:
  redis:    #自定义网络名称
    ipam:
      config:
        - subnet: 172.38.0.0/16

编写编排compose文件(HOST模式)

命名为redis_compose.yml

version: "3"
services:
  redis-m6391:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-m6391 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    #ports: # 映射端口,对外提供服务
    #  - 6791:6791 # redis的服务端口
    #  - 16391:16391 # redis集群监控端口
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    network_mode: host # 使用host模式
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster-host/redis-m6391/data:/data",
      "/home/data/redis-cluster-host/redis-m6391/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster-host/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
  redis-m6392:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-m6392 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    #ports: # 映射端口,对外提供服务
    #  - 6792:6792 # redis的服务端口
    #  - 16392:16392 # redis集群监控端口
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    network_mode: host # 使用host模式
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster-host/redis-m6392/data:/data",
      "/home/data/redis-cluster-host/redis-m6392/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster-host/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
  redis-m6393:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-m6393 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    #ports: # 映射端口,对外提供服务
    #  - 6793:6793 # redis的服务端口
    #  - 16393:16393 # redis集群监控端口
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    network_mode: host # 使用host模式
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster-host/redis-m6393/data:/data",
      "/home/data/redis-cluster-host/redis-m6393/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster-host/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
  redis-s6394:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-s6394 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    #ports: # 映射端口,对外提供服务
    #  - 6794:6794 # redis的服务端口
    #  - 16394:16394 # redis集群监控端口
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    network_mode: host # 使用host模式
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster-host/redis-s6394/data:/data",
      "/home/data/redis-cluster-host/redis-s6394/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster-host/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
  redis-s6395:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-s6395 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    #ports: # 映射端口,对外提供服务
    #  - 6795:6795 # redis的服务端口
    #  - 16395:16395 # redis集群监控端口
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    network_mode: host # 使用host模式
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster-host/redis-s6395/data:/data",
      "/home/data/redis-cluster-host/redis-s6395/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster-host/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
  redis-s6396:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-s6396 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    #ports: # 映射端口,对外提供服务
    #  - 6796:6796 # redis的服务端口
    #  - 16396:16396 # redis集群监控端口
    stdin_open: true # 标准输入打开
    tty: true # 后台运行不退出
    network_mode: host # 使用host模式
    privileged: true # 拥有容器内命令执行的权限
    # 映射数据卷,配置目录
    volumes: [
      "/home/data/redis-cluster-host/redis-s6396/data:/data",
      "/home/data/redis-cluster-host/redis-s6396/conf/redis.conf:/etc/redis/redis.conf",
      "/home/data/redis-cluster-host/etc/rc.local:/etc/rc.local",
      "/etc/localtime:/etc/localtime"
    ]
    command: [
      "redis-server",
      "/etc/redis/redis.conf"
    ]
    logging:
      options:
        max-size: '100m'
        max-file: '10'
注意事项

上文中,service中的ports和network_mode: host任选其一,Docker的桥接模式默认为bridge,对应ports,使用network_mode: host是另外一种桥接模式,会导致集群通信失败,创建集群时一直Waiting for the cluster to join。
本文中选择host方式。
如果要使用自定义网络形式,或者已经存在的自定义网络,本文只采用外部已存在的自定义网络,修改网络后,redis的集群的IP配置需要跟这里对应上。(或许有错)

上文中已创建自定义网络
docker network create redis-net --subnet 172.38.0.0/16

则将host改为

version: "3"
services:
  redis-m6391:
    image: redis:6.0.8 # 基础镜像
    container_name: redis-m6391 # 容器名称
    restart: always
    environment: # 环境变量
      - TZ=Asia/Shanghai
      - LANG=en_US.UTF-8
    networks:
    	redis-net:
    	ipv4_address: 172.38.0.11
  networks:
    redis-net:
    	external: true   	

同时redis挂载的配置文件中也要响应的修改为自定义网络的IP。如果使用自定义网络,cluster-announce-ip需要修改为对应的自定义网络分配的网段的网络IP

执行编排Redis集群

docker compose -f ./redis_compose.yml up -d

集群初始化

进入Redis容器

随便某个redis容器,以节点1为例

docker exec -it redis-m6391 /bin/bash

初始化Redis集群命令

这里的IP因为是host模式的缘故,采用的宿主机地址,如果失败,需要检查虚拟机防火墙是否开放并是否开放相应端口;如果是云服务器,则需要检查安全组是否配置相应的端口以及IP是否对应的上

redis-cli --cluster create 172.38.0.11:6391 172.38.0.12:6392 172.38.0.13:6393 172.38.0.14:6394 172.38.0.15:6395 172.38.0.16:6396 --cluster-replicas 1 -a 123456

出现下图则成功
在这里插入图片描述
失败的原因可能存在以下几种情况
编排redis_compose.yml文件中同时使用了ports和host,或者自定义网络未修改到redis-cluster.tmpl中的cluster-announce-ip。
一直Waiting for the cluster to join的情况可参考以下几个文档
链接: 文档一
链接: 文档二
链接: 文档三

查看集群搭建情况

docker exec -it redis-m6391 /bin/bash

#检查连接
redis-cli -c -a 123456 -h 192.168.0.1 -p 6391
# 连接至集群某个节点
redis-cli -c -a 1234 -h 192.168.0.1 -p 6391
# 查看集群信息
cluster info
# 查看集群结点信息
cluster nodes
# 写入数据
set name mrhelloworld
# 读取数据
get name

别忘记开放相应的防火墙端口

远程服务器的安全组也需要配置

firewall-cmd --zone=public --add-port=6791/tcp --permanent
firewall-cmd --zone=public --add-port=6792/tcp --permanent
firewall-cmd --zone=public --add-port=6793/tcp --permanent
firewall-cmd --zone=public --add-port=6794/tcp --permanent
firewall-cmd --zone=public --add-port=6795/tcp --permanent
firewall-cmd --zone=public --add-port=6796/tcp --permanent
firewall-cmd --zone=public --add-port=16791/tcp --permanent
firewall-cmd --zone=public --add-port=16792/tcp --permanent
firewall-cmd --zone=public --add-port=16793/tcp --permanent
firewall-cmd --zone=public --add-port=16794/tcp --permanent
firewall-cmd --zone=public --add-port=16795/tcp --permanent
firewall-cmd --zone=public --add-port=16796/tcp --permanent

参考文档

链接: 文档一
链接: 文档二
链接: 文档三

感谢以上各位大佬,文章中存在一定错误的地方,烦请指正,以便及时修改

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值