Docker Compose——搭建Redis集群

最新推荐文章于 2024-06-06 11:40:16 发布
最新推荐文章于 2024-06-06 11:40:16 发布
阅读量1k 收藏 8
点赞数
分类专栏： # Docker 文章标签： Docker Docker-Compose Redis 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43272781/article/details/119616227
版权

环境配置

Docker 18.x
Docker-Compose 3.7
Redis 6.2.5

主从（Master-Slave）模式

主从复制模式中包含一个主数据库实例（master）与一个或多个从数据库实例（slave），如下图
在这里插入图片描述
客户端可对主数据库进行读写操作，对从数据库进行读操作，主数据库写入的数据会实时自动同步给从数据库。

主从模式的具体工作机制

  1. slave启动后，向master发送SYNC命令，master接收到SYNC命令后通过bgsave保存快照（即上文所介绍的RDB持久化），并使用缓冲区记录保存快照这段时间内执行的写命令
  2. master将保存的快照文件发送给slave，并继续记录执行的写命令
  3. slave接收到快照文件后，加载快照文件，载入数据
  4. master快照发送完后开始向slave发送缓冲区的写命令，slave接收命令并执行，完成复制初始化
  5. 此后master每次执行一个写命令都会同步发送给slave，保持master与slave之间数据的一致性

主从模式的特点

  • 主服务器负责接收写请求
  • 从服务器负责接收读请求
  • 从服务器的数据由主服务器复制过去。主从服务器的数据是一致的

主从模式的优点

  • 读写分离(主服务器负责写，从服务器负责读)
  • 高可用(某一台从服务器挂了，其他从服务器还能继续接收请求，不影响服务)
  • 处理更多的并发量(每台从服务器都可以接收读请求，读QPS就上去了)

主从模式的缺点

  • 不具备自动容错与恢复功能，master或slave的宕机都可能导致客户端请求失败，需要等待机器重启或手动切换客户端IP才能恢复
  • master宕机，如果宕机前数据没有同步完，则切换IP后会存在数据不一致的问题
  • 难以支持在线扩容，Redis的容量受限于单机配置

主从同步

主从架构的特点之一：主服务器和从服务器的数据是一致的。
主从同步的2种情况

完整的同步

从服务器向主服务器发送PSYNC命令
收到PSYNC命令的主服务器执行BGSAVE命令，在后台生成一个RDB文件。并用一个缓冲区来记录从现在开始执行的所有写命令。
当主服务器的BGSAVE命令执行完后，将生成的RDB文件发送给从服务器，从服务器接收和载入RBD文件。将自己的数据库状态更新至与主服务器执行BGSAVE命令时的状态。
主服务器将所有缓冲区的写命令发送给从服务器，从服务器执行这些写命令，达到数据最终一致性。

部分重同步

主从服务器的复制偏移量 主服务器每次传播N个字节，就将自己的复制偏移量加上N
从服务器每次收到主服务器的N个字节，就将自己的复制偏移量加上N
通过对比主从复制的偏移量，就很容易知道主从服务器的数据是否处于一致性的状态！

Docker-Compose

https://gitee.com/shentuzhigang/mini-project/tree/master/docker-compose/redis-master-slave

version: "3.7"
services: 
    redis1:
        image: redis:latest
        container_name: redis1
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf"
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6376:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.81
    redis2:
        image: redis:latest
        container_name: redis2
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf --replicaof 192.168.88.81 6379"
        depends_on:
        - redis1
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6377:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.82
    redis3:
        image: redis:latest
        container_name: redis3
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf --replicaof 192.168.88.81 6379"
        depends_on:
        - redis1
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6378:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.83
networks:
    redis-cluster-net:
        external: true
        name: redis-cluster-net

哨兵 Sentinel 模式

Redis 的 Sentinel 系统用于管理多个 Redis 服务器（instance）， 该系统执行以下三个任务：

  • 监控（Monitoring）： Sentinel 会不断地检查你的主服务器和从服务器是否运作正常。
  • 提醒（Notification）： 当被监控的某个 Redis 服务器出现问题时， Sentinel 可以通过 API 向管理员或者其他应用程序发送通知。
  • 自动故障迁移（Automatic failover）： 当一个主服务器不能正常工作时， Sentinel 会开始一次自动故障迁移操作， 它会将失效主服务器的其中一个从服务器升级为新的主服务器， 并让失效主服务器的其他从服务器改为复制新的主服务器； 当客户端试图连接失效的主服务器时， 集群也会向客户端返回新主服务器的地址， 使得集群可以使用新主服务器代替失效服务器。

Redis Sentinel 是一个分布式系统， 你可以在一个架构中运行多个 Sentinel 进程（progress）， 这些进程使用流言协议（gossip protocols)来接收关于主服务器是否下线的信息， 并使用投票协议（agreement protocols）来决定是否执行自动故障迁移， 以及选择哪个从服务器作为新的主服务器。

哨兵模式基于主从复制模式，只是引入了哨兵来监控与自动处理故障。如图
在这里插入图片描述

Docker-Compose

哨兵容器应该等待redis容器先启动,使用depends_on控制

version: "3.7"
services: 
    redis1:
        image: redis:latest
        container_name: redis1
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf"
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6376:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.81
    redis2:
        image: redis:latest
        container_name: redis2
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf --replicaof 192.168.88.81 6379"
        depends_on:
        - redis1
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6377:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.82
    redis3:
        image: redis:latest
        container_name: redis3
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf --replicaof 192.168.88.81 6379"
        depends_on:
        - redis1
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6378:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.83
    redis-sentinel1:
        image: redis:latest
        container_name: redis-sentinel1
        command: /bin/bash -c "redis-sentinel /usr/local/etc/redis/redis-sentinel.conf"
        depends_on:
        - redis1
        - redis2
        - redis3
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6373:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.84
    redis-sentinel2:
        image: redis:latest
        container_name: redis-sentinel2
        command: /bin/bash -c "redis-sentinel /usr/local/etc/redis/redis-sentinel.conf"
        depends_on:
        - redis1
        - redis2
        - redis3
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6374:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.85
    redis-sentinel3:
        image: redis:latest
        container_name: redis-sentinel3
        command: /bin/bash -c "redis-sentinel /usr/local/etc/redis/redis-sentinel.conf"
        depends_on:
        - redis1
        - redis2
        - redis3
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6375:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.86
networks:
    redis-cluster-net:
        external: true
        name: redis-cluster-net

redis-sentinel.conf

sentinel monitor mymaster 192.168.88.81 6379 2

设置哨兵监控的主服务器和odown数(sdown数累计达到odown即开启故障转移主从切换) sentinel monitor
mymaster 192.168.11.128 6379 2
x秒不回应即单sentinel判定为sdown sentinel down-after-milliseconds
单次故障转移最长时间,超过则认定为故障转移失败 sentinel failover-timeout mymaster 10000
当发生failover主备切换时最多可以有多少个slave同时对新的master同步,数字越小favilover越快.通常设为1
sentinel parallel-syncs <master-name> <numslaves>
哨兵启动后自动写入的唯一id,每个sentinel不一样,故不能用同一份配置文件 sentinel myid

Redis Cluster 集群模式

Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施（installation）。

Redis 集群不支持那些需要同时处理多个键的 Redis 命令， 因为执行这些命令需要在多个 Redis 节点之间移动数据， 并且在高负载的情况下， 这些命令将降低 Redis 集群的性能， 并导致不可预测的行为。

Redis 集群通过分区（partition）来提供一定程度的可用性（availability）： 即使集群中有一部分节点失效或者无法进行通讯， 集群也可以继续处理命令请求。
在这里插入图片描述

Redis 集群提供了以下两个好处：

  • 将数据自动切分（split）到多个节点的能力。
  • 当集群中的一部分节点失效或者无法进行通讯时， 仍然可以继续处理命令请求的能力。

Docker-Compose

version: "3.7"
services: 
    redis1:
        image: redis:latest
        container_name: redis1
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf"
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6376:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.81
    redis2:
        image: redis:latest
        container_name: redis2
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf"
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6377:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.82
    redis3:
        image: redis:latest
        container_name: redis3
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf"
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6378:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.83
    redis4:
        image: redis:latest
        container_name: redis4
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf"
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6373:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.84
    redis5:
        image: redis:latest
        container_name: redis5
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf"
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6374:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.85
    redis6:
        image: redis:latest
        container_name: redis6
        command: /bin/bash -c "redis-server /usr/local/etc/redis/redis.conf"
        environment:
            REDIS_PASSWORD: 123456
        ports:
        - 6375:6379
        volumes:
        - type: bind
          source: /root/redis-cluster/redis
          target: /usr/local/etc/redis
        networks:
          redis-cluster-net:
            ipv4_address: 192.168.88.86
networks:
    redis-cluster-net:
        external: true
        name: redis-cluster-net

启动后执行命令

docker exec -it redis1 \
redis-cli --cluster create \
192.168.88.81:6379 \
192.168.88.82:6379 \
192.168.88.83:6379 \
192.168.88.84:6379 \
192.168.88.85:6379 \
192.168.88.86:6379 \
--cluster-replicas 1

Keepalived监控

通过 keepalived 的虚拟 IP，提供主从的统一访问，在主出现问题时， 通过 keepalived 运行脚本将从提升为主，待主恢复后先同步后自动变为主，该方案的好处是主从切换后，应用程序不需要知道(因为访问的虚拟 IP 不变)，坏处是引入 keepalived 增加部署复杂性，在有些情况下会导致数据丢失。

Zookeeper监控

通过 zookeeper 来监控主从实例， 维护最新有效的 IP， 应用通过 zookeeper 取得 IP，对 Redis 进行访问，该方案需要编写大量的监控代码

常见问题

参考文章

Starzkg
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
搭建Docker-Redis集群
caitou3562的博客
05-30 214
拷贝dockerRedis.tar.gz文件到/root/下，并解压 tar -zxvf DockerRedis.tar.gz 安装依赖工具和redis集群工具，加载redis.4.0.9.tar镜像到服务器（注：解压后cluster是带密码的，要换成clster-1） cd /root/dockerRedis/ rm -rf cluster_conf cp -r cluster_conf-em cluster_conf yum install -y gcc g++ ruby gem insta.
docker -- redis集群搭建
qq_43539962的博客
03-25 90
centos7部署redis-cluster安装docker安装需要的安装包配置镜像仓库安装最新版本的Docker引擎和容器启动docker下载redis镜像创建redis容器创建6个容器设置集群进入容器执行设置集群命令测试 前言: 因公司测试服务器切换，在网上找了各种搭建方法均失败 ， 好不容易安装好一个redis集群， go项目和node项目成功连接，但java项目直接 Too many Cluster redirections? 发现JedisCluster连接集群时，集群的内部通信出了问题 Jedi
docker-compose一键搭建Redis集群
06-12
1.先运行 createFile.py 输入宿主机IP地址，输入redis密码 2.按照控制台输出执行docker-compose up -d 启动命令 3.启动成功后执行加入集群命令即可
docker-compose搭建redis集群
ajhdd的博客
02-15 899
使用以下命令创建一主一从集群 ： 注意：必须要3个主机才能创建集群。相当于加上一层，不管里面crc16,路由重定向。
docker-compose部署Redis6.0
最新发布
木子李的博客
06-06 587
CentOS、docker、docker-compose、redis6.0部署
使用Docker Compose搭建Redis主从集群
qq_47307140的博客
04-04 676
通过以上的步骤，我们就使用docker-compose搭建了一主两从的redis主从复制的结构，主机用来写，从机用来读。想详细了解其中原理的同学可以去研究研究，主从之间是如何进行建立连接的，全量复制和增量复制又是怎么回事，这种结构有什么优缺点，后面的哨兵模式又是怎么回事？集群如何搭建等等。
使用Docker-Compose搭建Redis集群
热门推荐
吴名氏的博客
02-19 12万+
使用Docker-Compose搭建Redis集群
docker-compose redis主从哨兵 redis多节点高可用 redis集群高可用
04-12
3. **Redis集群高可用**：Redis集群通过分片（Sharding）和槽区（Slot）分配，将数据分散到多个节点上，这样即使部分节点故障，其他节点仍能提供服务。Docker Compose配置中，我们需要定义多个集群节点，每个节点都...
docker compose部署redis集群
01-10
docker compose部署redis集群，三主三从，并且外网可以访问，另外还可以从gitee上获取此文件，gitee上除了Redis之外还会陆续提供其他docker部署的文件，https://gitee.com/korov/Docker.git
docker、docker-compose 安装redis集群 (一台虚拟机上安装的伪集群，学习使用)
01-23
docker、docker-compose 一键安装redis集群 (一台虚拟机上安装的伪集群，学习使用，可以修改文件配置相关参数，非原创，亲测可用) 第一步 /usr/local/下依次建docker、redis目录“/usr/local/docker/redis” 第二步 ...
docker 实现redis集群搭建
08-19
"docker 实现redis集群搭建" 一、Redis Cluster 概念 Redis Cluster 是 Redis 的分布式解决方案，旨在解决 Redis 单机中心化的问题。它将整个数据集按照分区规则映射到多个节点上，使得 Redis 能够水平扩展以应对...
docker-compose 安装redis
u010141170的专栏
08-22 4974
docker-compose 安装redis
docker、docker-compose搭建redis哨兵，集群。
qq_49059667的博客
04-07 8672
1. 安装docker和docker-compose 2. docker-compose搭建redis哨兵模式（一主二从二哨兵） 2.1启动redis的三个节点 2.1.1 下载redis.conf配置文件 因为docker启动redis是默认没有配置文件的。我们可以去github下载对应版本的redis.conf配置文件 配置文件详解： #注释掉bind 127.0.0.1，使redis可以外部访问 bind 0.0.0.0 # 端口号 port 6381 #给redis设置密码 #r.
5分钟实现用docker搭建Redis集群模式和哨兵模式
cr266的专栏
09-29 436
如果让你为开发、测试环境分别搭一套哨兵和集群模式的redis，你最快需要多久，或许你需要一天？2小时？事实是可以更短。 是的，你已经猜到了，用docker部署，真的只需要十几分钟。 一.准备工作 拉取redis镜像 运行如下命令： docker pull redis该命令拉取的镜像是官方镜像，当然你可以搜索其他的镜像，这里不做深入查看镜像情况： 二.部署redis哨兵主从模式 什么是哨兵模式？--请自行百度 1、什么是docker compose？ Docker Compose 可以理解为将多个
Docker-compose 安装 redis
weixin_42225792的博客
06-19 5299
这里需要修改requirepass，也就是你的密码。
云服务器上使用Docker Compose创建Redis三主三从集群
pan2635376816的博客
06-13 2244
就可以在容器间通信了。但是我选择了network_mode="host"的模式，是因为我自己的个人电脑上还有java web的代码想访问redis集群，而我没有把这个web应用的 jar 包推送到服务器上作为一个微服务和redis节点们一起启动，共享网段，所以就没办法访问redis集群。参数，则使用的就是宿主机的IP，Docker Compose就不会再配置新的网络了，至于端口我们在redis的配置文件中配置过了。绿色的目录是用来存储容器中的文件，不需要我们手动创建，将路径配置在配置文件中即可。
基于 docker-compose 搭建redis 集群
weixin_43669630的博客
09-28 366
1. Docker 容器启动redis 必须设置network为host模式2. redis 集群至少需要6个节点（3 master 3 slave）
docker-compose 搭建 redis 集群
07-25
要使用docker-compose搭建Redis集群，你可以按照以下步骤进行操作： 1. 创建一个docker-compose.yml文件，并在其中定义Redis集群的服务。你可以使用以下示例作为参考： ``` version: '3' services: redis-6379: ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Starzkg

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值