docker-compose部署RabbitMQ分布式集群

docker-compose部署RabbitMQ分布式集群

概述

集群模式

RabbitMQ的Cluster集群模式一般分为两种，「普通模式」和「镜像模式」。

1. 普通模式：默认的集群模式，以两个节点（A、B）为例来进行说明。对于Queue来说，消息实体只存在于其中一个节点A（或者B），A和B两个节点仅有相同的元数据，即队列的结构。当消息进入A节点的Queue后，consumer从B节点消费时，RabbitMQ会临时在A、B间进行消息传输，把A中的消息实体取出并经过B发送给consumer。当A节点故障后，B节点无法取到A节点中还未消费的消息实体。如果做了消息持久化，那么得等A节点恢复，然后才可被消费；如果没有持久化的话，就会产生消息丢失的现象。
2. 镜像模式：将需要消费的队列变为镜像队列，存在于多个节点，这样就可以实现RabbitMQ的HA高可用性。作用就是消息实体会主动在镜像节点之间实现同步，而不是像普通模式那样，在consumer消费数据时临时读取。缺点就是，集群内部的同步通讯会占用大量的网络带宽。

节点类型

• RAM node：内存节点将所有的队列、交换机、绑定、用户、权限和vhost的元数据定义存储在内存中，好处是可以使得像交换机和队列声明等操作更加的快速。
• Disk node：将元数据存储在磁盘中，单节点系统只允许磁盘类型的节点，防止重启RabbitMQ的时候，丢失系统的配置信息。

---

RabbitMQ要求在集群中至少有一个磁盘节点，所有其他节点可以是内存节点，当节点加入或者离开集群时，必须要将该变更通知到至少一个磁盘节点。如果集群中唯一的一个磁盘节点崩溃的话，集群仍然可以保持运行，但是无法进行其他操作（增删改查），直到节点恢复。
解决方案：设置两个磁盘节点，至少有一个是可用的，可以保存元数据的更改。

---

部署

创建docker-compose.yaml，内容如下：

version: '3.7'

# 指定Cookie，保证集群中的不同节点相互通信
x-rabbitmq-common: &rabbitmq-common
  image: rabbitmq:management
  environment:
    - RABBITMQ_DEFAULT_USER=admin
    - RABBITMQ_DEFAULT_PASS=admin
    - RABBITMQ_ERLANG_COOKIE=rabbitmq_erlang_cookie
  restart: always

# 启动3个rabbitmq容器节点
# rabbitmq1为disk主节点
# rabbitmq2、rabbitmq3为ram从节点
services:
  rabbitmq1:
    <<: *rabbitmq-common
    hostname: rabbitmq1
    ports:
      - 15672:15672
      - 5672:5672
      - 1883:1883
    
  rabbitmq2:
    <<: *rabbitmq-common
    hostname: rabbitmq2
    ports:
      - 15673:15672
      - 5673:5672
      - 1884:1883
      
  rabbitmq3:
    <<: *rabbitmq-common
    hostname: rabbitmq3
    ports:
      - 15674:15672
      - 5674:5672
      - 1885:1883

执行启动命令

docker-compose up -d

执行集群命令，进入主节点1执行

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app

进入从节点1、从节点2执行

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@rabbitmq1
rabbitmqctl start_app

任意节点查看集群状态

rabbitmqctl cluster_status

任意节点web查看所有节点

设置镜像模式策略

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

查看策略是否设置成功

rabbitmqctl list_policies

开启mqtt协议支持

rabbitmq-plugins enable rabbitmq_mqtt

查看所有插件情况

rabbitmq-plugins list