干货！使用Docker构建RabbitMQ高可用负载均衡集群(1)

最新推荐文章于 2024-05-09 23:01:45 发布

2401_84046577

最新推荐文章于 2024-05-09 23:01:45 发布

阅读量852

点赞数 24

分类专栏：程序员文章标签： docker rabbitmq 负载均衡

本文链接：https://blog.csdn.net/2401_84046577/article/details/138026841

版权

程序员专栏收录该内容

275 篇文章 5 订阅

订阅专栏

2. 加入集群

内存节点和磁盘节点的选择：

每个RabbitMQ节点，要么是内存节点，要么是磁盘节点。内存节点将所有的队列、交换器、绑定、用户等元数据定义都存储在内存中；而磁盘节点将元数据存储在磁盘中。单节点系统只允许磁盘类型的节点，否则当节点重启以后，所有的配置信息都会丢失。如果采用集群的方式，可以选择至少配置一个节点为磁盘节点，其余部分配置为内存节点，，这样可以获得更快的响应。所以本集群中配置节点1位磁盘节点，节点2和节点3位内存节点。

集群中的第一个节点将初始元数据代入集群中，并且无须被告知加入。而第2个和之后加入的节点将加入它并获取它的元数据。要加入节点，需要进入Docker容器，重启RabbitMQ。

设置节点1：

docker exec -it rabbit1 bash
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl start_app
exit

设置节点2：

docker exec -it rabbit2 bash
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@my-rabbit1
rabbitmqctl start_app
exit

设置节点3：

docker exec -it rabbit3 bash
rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@my-rabbit1
rabbitmqctl start_app
exit

节点设置完成之后，在浏览器访问192.168.16.128:15672、192.168.16.128:15673和192.168.16.128:15674中任意一个，都会看到RabbitMQ集群已经创建成功。

3. 配置镜像队列

镜像队列工作原理：在非镜像队列的集群中，消息会路由到指定的队列。当配置为镜像队列之后，消息除了按照路由规则投递到相应的队列外，还会投递到镜像队列的拷贝。也可以想象在镜像队列中隐藏着一个fanout交换器，将消息发送到镜像的队列的拷贝。

进入任意一个RabbitMQ节点，执行如下命令：

rabbitmqctl set_policy ha-all “^” ‘{“ha-mode”:“all”}’

可以设置镜像队列，"^"表示匹配所有队列，即所有队列在各个节点上都会有备份。在集群中，只需要在一个节点上设置镜像队列，设置操作会同步到其他节点。

查看集群的状态:

rabbitmqctl cluster_status

二、HAProxy负载均衡

第一步构建RabbitMQ集群只是构建高可用负载均衡集群的基础，下面将使用HAProxy为RabbitMQ集群做负载均衡。

Haproxy 是目前比较流行的一种群集调度工具，是使用C语言编写的自由及开放源代码软件，其提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代理。同类群集调度工具有很多，如LVS 和 Nginx 。相比较而言，LVS 性能最好，但是搭建相对复杂，Nginx的upstream模块支持群集功能，但是对群集节点的健康检查功能不强，性能没有HAProxy 好。

对于调度算法本文采用最简单最常用的轮询算法。

本来想采用Docker的方式拉取并运行HAProxy镜像，折腾了好几天搞不定，HAProxy启动不了，故采用源码安装的方式安装HAProxy。

配置两个HAProxy节点实现负载均衡：

1. 安装HAProxy

下载

由于到官网下载需要kexue上网，这里提供百度云链接。

链接:
https://pan.baidu.com/s/1uaSJa3NHFiE1E6dk7iHMwQ 提取码: irz6

将haproxy-1.7.8.tar.gz拷贝至/opt目录下，解压缩：

tar zxvf haproxy-1.7.8.tar.gz

将源代码解压之后，需要运行make来将HAProxy编译成为可执行文件。如果是在Linux2.6系统上面进行编译的话，需要设置TARGET=linux26以开启epoll支持，这也是为什么网上许多博客里面都是这么写的。对于其他的UNIX系统来说，直接采用TARGET=generic方式，本文进行安装的系统为CentOS7 ，内核3.10版本。

cd haproxy-1.7.8
make TARGET=generic

执行完毕之后，目录下出现haproxy的可执行文件。

2. 配置HAProxy

HAProxy配置文件说明

HAProxy配置文件通常分为三个部分，即global、defaults和listen。global为全局配置，defaults为默认配置，listen为应用组件配置。

global为全局配置部分，属于进程级别的配置，通常和使用的操作系统配置相关。

defaults配置项配置默认参数，会被应用组件继承，如果在应用组件中没有特别声明，将使用默认配置参数。

以配置RabbitMQ集群的负载均衡为例，在安装目录下面新建一个haproxy.cfg，输入下面配置信息：

global
#日志输出配置，所有日志都记录在本机，通过local0输出
log 127.0.0.1 local0 info
#最大连接数
maxconn 10240
#以守护进程方式运行
daemon

defaults
#应用全局的日志配置
log global
mode http
#超时配置
timeout connect 5000
timeout client 5000
timeout server 5000
timeout check 2000

listen http_front #haproxy的客户页面
bind 192.168.16.128:8888
mode http
option httplog
stats uri /haproxy
stats auth admin:123456
stats refresh 5s
stats enable

listen haproxy #负载均衡的名字
bind 0.0.0.0:5666 #对外提供的虚拟的端口
option tcplog
mode tcp
#轮询算法
balance roundrobin
server rabbit1 192.168.16.128:5672 check inter 5000 rise 2 fall 2
server rabbit2 192.168.16.128:5673 check inter 5000 rise 2 fall 2
server rabbit3 192.168.16.128:5674 check inter 5000 rise 2 fall 2

3. 启动

启动命令：

/opt/haproxy-1.7.8/haproxy -f /opt/haproxy-1.7.8/haproxy.cfg

验证一下是否启动成功：

[root@localhost haproxy-1.7.8]# lsof -i:8888
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
haproxy 45031 root 3u IPv4 228341 0t0 TCP localhost.localdomain:ddi-tcp-1 (LISTEN)

在浏览器上访问
http://192.168.16.128:8888/haproxy，输入配置的用户名和密码登录以后，可以看到如下画面：

再以相同的方式在192.168.16.129服务器上面启动一个HAProxy。

到此，负载均衡配置完成。

三、KeepAlived配置高可用

Keepalived，它是一个高性能的服务器高可用或热备解决方案，Keepalived主要来防止服务器单点故障的发生问题，可以通过其与Nginx、Haproxy等反向代理的负载均衡服务器配合实现web服务端的高可用。Keepalived以VRRP协议为实现基础，用VRRP协议来实现高可用性（HA）。

1. KeepAlived安装

Keepalived的官网下载Keepalived的安装文件，目前最新的版本为：keepalived-2.0.17.tar.gz，下载地址为
http://www.keepalived.org/download.html。

下载之后进行解压和编译安装。

tar zxvf keepalived-2.0.17.tar.gz
cd keepalived-2.0.17
./configure --prefix=/opt/keepalived --with-init=SYSV
#注：(upstart|systemd|SYSV|SUSE|openrc) #根据你的系统选择对应的启动方式
make
make install

2. KeepAlived配置

之后将安装过后的Keepalived加入系统服务中，详细步骤如下：

cp /opt/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cp /opt/keepalived/etc/sysconfig/keepalived /etc/sysconfig
cp /opt/keepalived/sbin/keepalived /usr/sbin/
chmod +x /etc/init.d/keepalived
chkconfig --add keepalived
chkconfig keepalived on
#Keepalived默认会读取/etc/keepalived/keepalived.conf配置文件
mkdir /etc/keepalived
cp /opt/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

接下来修改
/etc/keepalived/keepalived.conf文件，在Keepalived的Master上配置详情如下：

#Keepalived配置文件
global_defs {
router_id NodeA #路由ID, 主备的ID不能相同
}

#自定义监控脚本
vrrp_script chk_haproxy {
script “/etc/keepalived/check_haproxy.sh”
interval 5
weight 2
}

vrrp_instance VI_1 {
state MASTER #Keepalived的角色。Master表示主服务器，从服务器设置为BACKUP
interface eth0 #指定监测网卡
virtual_router_id 1
priority 100 #优先级，BACKUP机器上的优先级要小于这个值
advert_int 1 #设置主备之间的检查时间，单位为s
authentication { #定义验证类型和密码
auth_type PASS
auth_pass root123
}
track_script {
chk_haproxy
}
virtual_ipaddress { #VIP地址，可以设置多个：
192.168.16.130
}
}

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

Spring全套教学资料

Spring是Java程序员的《葵花宝典》，其中提供的各种大招，能简化我们的开发，大大提升开发效率！目前99%的公司使用了Spring，大家可以去各大招聘网站看一下，Spring算是必备技能，所以一定要掌握。

目录：

部分内容：

Spring源码

第一部分 Spring 概述
第二部分核心思想
第三部分手写实现 IoC 和 AOP（自定义Spring框架）
第四部分 Spring IOC 高级应用
基础特性
高级特性
第五部分 Spring IOC源码深度剖析
设计优雅
设计模式
注意：原则、方法和技巧
第六部分 Spring AOP 应用
声明事务控制
第七部分 Spring AOP源码深度剖析
必要的笔记、必要的图、通俗易懂的语言化解知识难点

脚手框架：SpringBoot技术

它的目标是简化Spring应用和服务的创建、开发与部署，简化了配置文件，使用嵌入式web服务器，含有诸多开箱即用的微服务功能，可以和spring cloud联合部署。

Spring Boot的核心思想是约定大于配置，应用只需要很少的配置即可，简化了应用开发模式。

SpringBoot入门
配置文件
日志
Web开发
Docker
SpringBoot与数据访问
启动配置原理
自定义starter

微服务架构：Spring Cloud Alibaba

同 Spring Cloud 一样，Spring Cloud Alibaba 也是一套微服务解决方案，包含开发分布式应用微服务的必需组件，方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。

微服务架构介绍
Spring Cloud Alibaba介绍
微服务环境搭建
服务治理
服务容错
服务网关
链路追踪
ZipKin集成及数据持久化
消息驱动
短信服务
Nacos Confifig—服务配置
Seata—分布式事务
Dubbo—rpc通信

Spring MVC

目录：

部分内容：

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
目录：**

[外链图片转存中…(img-GZu2LsOj-1713665682253)]

[外链图片转存中…(img-cnnjFTwx-1713665682253)]

[外链图片转存中…(img-QnBxszR4-1713665682253)]

部分内容：

[外链图片转存中…(img-CTOIvQgn-1713665682254)]

[外链图片转存中…(img-JzBpTVZ5-1713665682254)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

2401_84046577

关注

24
点赞
踩
23

收藏

觉得还不错? 一键收藏
0
评论
干货！使用Docker构建RabbitMQ高可用负载均衡集群(1)

内存节点和磁盘节点的选择：每个RabbitMQ节点，要么是内存节点，要么是磁盘节点。内存节点将所有的队列、交换器、绑定、用户等元数据定义都存储在内存中；而磁盘节点将元数据存储在磁盘中。单节点系统只允许磁盘类型的节点，否则当节点重启以后，所有的配置信息都会丢失。如果采用集群的方式，可以选择至少配置一个节点为磁盘节点，其余部分配置为内存节点，，这样可以获得更快的响应。所以本集群中配置节点1位磁盘节点，节点2和节点3位内存节点。集群中的第一个节点将初始元数据代入集群中，并且无须被告知加入。
复制链接

扫一扫