「RabbitMQ」高级使用:集群及haproxy+keepalived高可用负载均衡

集群有两种节点类型,一种是磁盘节点(Disc Node),一种是内存节点(RAMNode)

2.1 磁盘节点

========

磁盘节点:将元数据(包括队列名字属性、交换机的类型名字属性、绑定、vhost)放在磁盘中

2.2 内存节点

========

内存节点:将元数据放在内存中。

PS:内存节点会将磁盘节点的地址存放在磁盘(不然重启后就没有办法同步数据了)。如果是持久化的消息,会同时存放在内存和磁盘。集群中至少需要一个磁盘节点用来持久化元数据,否则全部内存节点崩溃时,就无从同步元数据。未指定类型的情况下,默认为磁盘节点。我们一般把应用连接到内存节点(读写快),磁盘节点用来备份。

3.RabbitMQ 集群模式

===============

3.1 普通集群

========

普通集群模式下,不同的节点之间只会相互同步元数据,不同步具体的消息,若需要具体消息时需要转发到源节点(1)

「RabbitMQ」高级使用:集群及haproxy+keepalived高可用负载均衡

为什么不直接把队列的内容(消息)在所有节点上复制一份?

主要是出于存储和同步数据的网络开销的考虑,如果所有节点都存储相同的数据,就无法达到线性地增加性能和存储容量的目的(堆机器)。

  • 假如生产者连接的是节点3,要将消息通过交换机A路由到队列1,最终消息还是会转发到节点1上存储,因为队列1的内容只在节点1上。

  • 同理,如果消费者连接是节点 2,要从队列 1上拉取消息,消息会从节点1 转发到节点2。其它节点起到一个路由的作用,类似于指针。

普通集群模式不能保证队列的高可用性,因为队列内容不会复制。如果节点失效将导致相关队列不可用,因此我们需要第二种集群模式。

3.2 镜像集群

========

第二种集群模式叫做镜像队列。

镜像队列模式下,消息内容会在镜像节点间同步,可用性更高。不过也有一定的副作用,系统性能会降低,节点过多的情况下同步的代价比较大。

操作方式

命令或步骤

rabbitmqctl (Windows)

rabbitmqctl set_policy ha-all “^ha.” “{”“ha-mode”":"“all”"}"

HTTP API

PUT /api/policies/%2f/ha-all {“pattern”:"^ha.", “definition”:{“ha-mode”:“all”}}

WebUI

1、 avigate to Admin > Policies > Add / update a policy
2、 Name 输入:mirror_image
3、 Pattern输入:^ (代表匹配所有)
4、 Definition 点击 HA mode,右边输入:all
5、 Add policy

4.负载均衡 + 高可用

============

4.1 基于负载均衡组件

============

集群搭建成功后,如果有多个内存节点,那么生产者和消费者应该连接到哪个内存节点?如果在我们的代码中根据一定的策略来选择要使用的服务器,那每个地方都要修改,客户端的代码就会出现很多的重复,修改起来也比较麻烦。

「RabbitMQ」高级使用:集群及haproxy+keepalived高可用负载均衡

所以需要一个负载均衡的组件(例如HAProxy,LVS,Nignx),由负载的组件来做路由。这个时候,只需要连接到负载组件的IP地址就可以了。负载分为四层负载和七层负载。

四层负载:工作在OSI模型的第四层,即传输层(TCP位于第四层),它是根据IP端口进行转发(LVS支持四层负载)。RabbitMQ是TCP的5672端口。七层负载:工作在第七层,应用层(HTTP位于第七层)。可以根据请求资源类型分配到后端服务器(Nginx支持七层负载;HAProxy支持四层和七层负载)。

「RabbitMQ」高级使用:集群及haproxy+keepalived高可用负载均衡

但是,如果这个负载的组件也挂了呢?客户端就无法连接到任意一台MQ的服务器了。所以负载软件本身也需要做一个集群。新的问题又来了,如果有两台负载的软件,客户端应该连哪个?

「RabbitMQ」高级使用:集群及haproxy+keepalived高可用负载均衡

负载之上再负载?陷入死循环了。这个时候我们就要换个思路了。我们应该需要这样一个组件:

  1. 它本身有路由(负载)功能,可以监控集群中节点的状态(比如监控HAProxy),如果某个节点出现异常或者发生故障,就把它剔除掉。

  2. 为了提高可用性,它也可以部署多个服务,但是只有一个自动选举出来的MASTER服务器(叫做主路由器),通过广播心跳消息实现。

  3. MASTER 服务器对外提供一个虚拟 IP,提供各种网络功能。也就是谁抢占到VIP,就由谁对外提供网络服务。应用端只需要连接到这一个IP就行了。

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

img

最后

分享一套我整理的面试干货,这份文档结合了我多年的面试官经验,站在面试官的角度来告诉你,面试官提的那些问题他最想听到你给他的回答是什么,分享出来帮助那些对前途感到迷茫的朋友。

面试经验技巧篇
  • 经验技巧1 如何巧妙地回答面试官的问题
  • 经验技巧2 如何回答技术性的问题
  • 经验技巧3 如何回答非技术性问题
  • 经验技巧4 如何回答快速估算类问题
  • 经验技巧5 如何回答算法设计问题
  • 经验技巧6 如何回答系统设计题
  • 经验技巧7 如何解决求职中的时间冲突问题
  • 经验技巧8 如果面试问题曾经遇见过,是否要告知面试官
  • 经验技巧9 在被企业拒绝后是否可以再申请
  • 经验技巧10 如何应对自己不会回答的问题
  • 经验技巧11 如何应对面试官的“激将法”语言
  • 经验技巧12 如何处理与面试官持不同观点这个问题
  • 经验技巧13 什么是职场暗语

面试真题篇
  • 真题详解1 某知名互联网下载服务提供商软件工程师笔试题
  • 真题详解2 某知名社交平台软件工程师笔试题
  • 真题详解3 某知名安全软件服务提供商软件工程师笔试题
  • 真题详解4 某知名互联网金融企业软件工程师笔试题
  • 真题详解5 某知名搜索引擎提供商软件工程师笔试题
  • 真题详解6 某初创公司软件工程师笔试题
  • 真题详解7 某知名游戏软件开发公司软件工程师笔试题
  • 真题详解8 某知名电子商务公司软件工程师笔试题
  • 真题详解9 某顶级生活消费类网站软件工程师笔试题
  • 真题详解10 某知名门户网站软件工程师笔试题
  • 真题详解11 某知名互联网金融企业软件工程师笔试题
  • 真题详解12 国内某知名网络设备提供商软件工程师笔试题
  • 真题详解13 国内某顶级手机制造商软件工程师笔试题
  • 真题详解14 某顶级大数据综合服务提供商软件工程师笔试题
  • 真题详解15 某著名社交类上市公司软件工程师笔试题
  • 真题详解16 某知名互联网公司软件工程师笔试题
  • 真题详解17 某知名网络安全公司校园招聘技术类笔试题
  • 真题详解18 某知名互联网游戏公司校园招聘运维开发岗笔试题

资料整理不易,点个关注再走吧
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取!
类笔试题

  • 真题详解18 某知名互联网游戏公司校园招聘运维开发岗笔试题

[外链图片转存中…(img-88qhUshw-1712068281798)]

资料整理不易,点个关注再走吧
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取!

  • 5
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值