RabbitMQ使用docker搭建集群并使用Haproxy实现负载均衡（多机镜像模式）【持续更新】

RabbitMQ使用docker搭建集群并使用Haproxy实现负载均衡（多机）

=======================================================

准备工作

• 服务器准备，当前是使用两台阿里云服务器（系统版本：CentOS Linux release 7.6.1810），使用相同地区的服务器，相互通讯可以使用阿里云内网。
• 服务器安装docker，可自行查找安装资料。Docker官网安装教程：Docker官网安装教程
• Docker创建RabbitMQ镜像
  使用docker pull指令拉取镜像：docker pull rabbitmq:management
  这里为拉取的最新版本rabbitmq，management版本内置可视化插件，若非management版，需在安装后执行rabbitmq-plugins enable rabbitmq_management 安装可视化组件，否则，无法通过浏览器访问管理页面。
  若想指定版本可以在冒号后添加相应版本号。
  例：docker pull rabbitmq:3.9.22-management-alpine

运行RabbitMQ

第一台服务器（ip1）

• 用docker run指令创建rabbitMQ容器，此台服务器作为主节点。

   docker run  -d --hostname rabbitmq1 \
  --restart unless-stopped \
  --name rabbitmq1 \
  -p 4369:4369 \
  -p 25672:25672 \
  -p 8172:15672 \
  -p 8072:5672 \
  -e RABBITMQ_ERLANG_COOKIE='tuhugc_cookie_220921' \
  -v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
  rabbitmq:management
  

创建后可通过ip1:8172来访问后台管理界面如图：

第二台服务器（ip2）

• 创建容器，此服务器作为从节点。

  docker run  -d --hostname rabbitmq2 \
  --add-host rabbitmq1:xxxx \
  --restart unless-stopped \
  --name rabbitmq2 \
  -p 4369:4369 \
  -p 25672:25672 \
  -p 8172:15672 \
  -p 8072:5672 \
  -e RABBITMQ_ERLANG_COOKIE='tuhugc_cookie_220921' \
  -v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
  rabbitmq:management
  

  创建后后台界面和第一台服务器一样，此时就启动了两台单体的服务器。

• 上面docker run指令中的参数简要说明如下

  -d 容器后台运行
  --hostname rabbitmq1 容器的主机名为 rabbitmq1
  --add-host rabbitmq2:xxxx  修改容器内部的hosts，添加的集群服务器都需要添加进来
  --restart=unless-stopped docker 容器重启后重启MQ
  --name rabbitmq1 容器名为rabbitma1，在宿主机上运行“docker ps”命令时显示的名称
  -p 8072:5672 消息通讯端口
  -p 8172:15672 后台管理端口
  -p 4369:4369 在 Erlang 集群中相当于 dns 的作用，绑定在4369端口上
  -p 25672:25672 25672端口用于节点间和CLI工具通信（Erlang分发服务器端口）
  -e RABBITMQ_ERLANG_COOKIE='xxxxxxxxx' 设置Erlang Cookie 值，此值必须相同，也就是一个集群内 RABBITMQ_ERLANG_COOKIE 参数的值必须相同。因为 RabbitMQ 是用Erlang实现的，Erlang Cookie 相当于不同节点之间通讯的密钥，Erlang节点通过交换 Erlang Cookie 获得认证。
  -v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf 挂载rabbitmq的配置文件
  

  • 简单基础配置文件如下，其他配置请根据实际情况增删

  loopback_users.guest = false   允许其他主机访问RabbitMQ的控制页面
  listeners.tcp.default = 5672   声明通讯端口
  default_pass = defalt_password  设置默认管理员密码
  default_user = default_user     设置默认管理员账号
  default_vhost = default_vhost  创建一个默认的Virtual Hosts，用于账号和服务隔离
  management.tcp.port = 15672    声明后台管理页面端口
  

配置集群

• 第一台服务器重启为主节点

  docker exec -it rabbitmq1 /bin/bash
  rabbitmqctl stop_app
  rabbitmqctl reset
  rabbitmqctl start_app
  exit
  

• 第二台服务器加入到主节点

  docker exec -it rabbit3 bash
  rabbitmqctl stop_app
  rabbitmqctl reset
  rabbitmqctl join_cluster --ram rabbit@rabbitmq1
  rabbitmqctl start_app
  exit
  

• 注意事项

  1. 在执行rabbitmqctl相关指令时，可能会出现
     RABBITMQ_ERLANG_COOKIE env variable support is deprecated and will be REMOVED in a future version. Use the $HOME/.erlang.cookie file or the --erlang-cookie switch instead.
     这里是指RABBITMQ_ERLANG_COOKIE环境变量支持已弃用，在未来版本中将被删除。一般是因为使用的rabbitmq版本较高导致的，可以降低版本或者根据提示使用新版的配置方式，
     来避免这条提示。当然，不管它接着执行其余指令也可以，不会影响操作（以后完全弃用后就不能使用了）。顺便说一句，这个RABBITMQ_ERLANG_COOKIE是在docker启动的时候使用的。

  2. 若在执行rabbitmqctl指令时，一般是join_cluster时出现
     unable to connect to epmd (port 4369) on xxxx: timeout (timed out)
     这里就要检查一下主节点所在服务器是否开启了4369端口，或者docker run的时候是否将4369端口映射成了其他的端口。在docker run的时候尽量将4369端口不做修改的映射到宿主机，即-p 4369:4369

  3. 运行时的配置说明
     -ram 表示设置为内存节点，忽略此参数默认为磁盘节点。
     一般节点会配置3个或3个以上，本示例只是简单的一个demo，只配置了两个节点，一个磁盘节点（主节点），一个内存节点。
     若想修改节点类型可通过下面的指令进行切换：

   rabbitmqctl stop_app
   rabbitmqctl change_cluster_node_type dist
   rabbitmqctl change_cluster_node_type ram
   rabbitmqctl start_app
  

执行完成后通过15672端口（这里通过docker映射为8172）访问管理页面，如下图：

其中节点类型等信息都展示。当前为普通集群模式，可以自行测试一下。在一台服务器上创建交换器和队列，并绑定。在另一台上可以看到已经同步，发送消息发现两台服务器都存在。
在一个节点中消费了该消息,其他节点中将不会存在该消息。

将集群配置为镜像集群

镜像模式可以通过指令进行配置，也可以通过管理页面进行配置。

这里简单演示一下管理页面的配置方式：

以admin身份进入管理页面后，在Admin中，点击右侧的Policies，之后点击Add / update a policy 来添加策略。
其中的参数说明：

Name：policy的名称

  Pattern: queue的匹配模式(正则表达式)

  priority：可选参数，policy的优先级

  Definition：镜像定义，包括三个部分ha-mode、ha-params、ha-sync-mode

    ha-mode:指明镜像队列的模式，有效值为 all/exactly/nodes

      all：表示在集群中所有的节点上进行镜像

      exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定

      nodes：表示在指定的节点上进行镜像，节点名称通过ha-params指定

    ha-params：ha-mode模式需要用到的参数

    ha-sync-mode：进行队列中消息的同步方式，有效值为automatic（自动）和manual（手动）

相应的填入值即可配置成功，之后可通过队列查看。如下配置即为，匹配所有以test_开头的队列，并设置所有节点都参与镜像。

设置好后，可以在队列中查看镜像情况，其中以test_开头的队列，皆以镜像模式集群。可自行进行测试。

注意事项

上面简单说明了如何搭建rabbitmq集群。要注意的是在镜像模式中，集群的开启与关闭要有顺序的，因为没有一个指令可以统一关闭和开启集群，
所以只能一个个节点进行关闭和开启。这里要最后关闭磁盘存储的节点，以保证数据不会丢失。同时要注意，关闭顺序和启动顺序要相反。即关闭时为1、2、3，则开启顺序为3、2、1。

集群的简单搭建大概就是这样了，虽然镜像模式可以算是"高可用"，真实项目中，还是要搭配Nginx或者HaProxy等搭建负载均衡体系。

搭建Haproxy实现负载均衡

docker部署Haproxy

• 使用docker拉取官方镜像
  docker pull haproxy

• 创建haproxy.cfg配置文件
  在宿主机上创建haproxy.cfg

  mkdir haproxy   
  vi haproxy.cfg
  

  配置内容如下：

  global
    daemon
    maxconn 10000
    #日志输出配置，所有日志都记录在本机，以local0的日志级别（系统不可用）输出
    #local0～local7
    # emerg 0-系统不可用      alert 1-必须马上采取行动的事件
    # crit 2-关键的事件       err 3-错误事件
    # warning 4-警告事件      notice 5-普通但重要的事件
    # info 6-有用的信息       debug 7-调试信息
   log 127.0.0.1 local0 info
  
  defaults
    mode http
    #应用全局的日志配置
    log global
    #超时配置
    timeout connect 5000ms
    timeout client 5000ms
    timeout server 5000ms
    timeout check 2000ms
  
  #负载均衡的名字（自定义）
  #监听8066端口并转发到rabbitmq服务
  listen rabbitmq_cluster
    bind 0.0.0.0:8066#对外提供的虚拟的端口
    option tcplog
    mode tcp
    #负载均衡算法为轮询
    balance roundrobin
    #对后端服务器的健康状况检查间隔为5000毫秒，
    #连续2次健康检查成功，则认为是有效的，连续3次健康检查失败，则认为服务器宕机
    server rabbit1 xxx.xxx.xxx.xxx:8072 check inter 5000ms rise 2 fall 3
    server rabbit2 xxx.xxx.xxx.xxx:8072 check inter 5000ms rise 2 fall 3
    
  #haproxy的客户页面
  listen http_front 
    bind 0.0.0.0:8266
    stats uri /haproxy #页面地址
    #页面的用户名和密码，建议主备设为不同，方便确定抢占到VIP的服务器是主机还是备机
    stats auth root:tuhugc20221008 
    stats admin if TRUE #管理界面，成功登陆后可通过webui管理节点
  
  #rabbit管理页面，监听8166端口转发到rabbitmq的客户端
  listen rabbitmq_admin 
    bind 0.0.0.0:8166
    server rabbit1 xxx.xxx.xxx.xxx:8172 check inter 5000ms rise 2 fall 3
    server rabbit2 xxx.xxx.xxx.xxx:8172 check inter 5000ms rise 2 fall 3
  

  其中xxx.xxx.xxx.xxx 替换为对应的rabbitmq所在服务器的IP地址。8072为rabbitmq宿主机映射的5672端口，8172为15672端口。这里自行根据实际情况更改。

• 运行haproxy容器

  #-v 中的参数:ro表示read only，宿主文件为只读。如果不加此参数默认为rw，即允许容器对宿主文件的读写   
  #一定要添加--privileged参数,使用该参数，container内的root拥有真正的root权限。   
  #否则，container内的root只是外部的一个普通用户权限（无法创建网卡）   
  docker run -d --name haproxy-rabbitmq --privileged --net host --restart=unless-stopped --log-opt max-size=200m --log-opt max-file=3 -v /root/docker/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro haproxy
  

  此时通过ip:8266/haproxy可访问haproxy后台监控界面。ip:8166可访问rabbitmq管理界面。