[高级]RabbitMQ总结看完别再说难了[下]

主页:写程序的小王叔叔的博客欢迎来访👀

支持:点赞ee4fc7a48dbf48378a2a01100fb3d482.png​收藏0670abdfaa514db98809d82e82efb2bd.png​关注48d18c30cf92444e9d792b748da43c25.png

社区:JAVA全栈进阶学习社区欢迎加入

 rabbitMQ是基于AMQP协议的,通过使用通用协议就可以做到在不同语言之间传递。

目录

消费端自定义监听

消费端限流

消费端ack与重回队列

消息重回队列

TTL队列/消息

死信队列

rabbitMQ集群模式

HAProxy性能为何这么好?

keepAlive

keepAlive的作用

Keepalived如何实现高可用


消费端自定义监听

消费端限流

什么是消费端的限流?

假设我们有个场景,首先,我们有个rabbitMQ服务器上有上万条消息未消费,然后我们随便打开一个消费者客户端,会出现:巨量的消息瞬间推送过来,但是我们的消费端无法同时处理这么多数据。这时就会导致你的服务崩溃。其他情况也会出现问题,比如你的生产者与消费者能力不匹配,在高并发的情况下生产端产生大量消息,消费端无法消费那么多消息。

rabbitMQ提供了一种qos(服务质量保证)的功能,即非自动确认消息的前提下,如果有一定数目的消息(通过consumer或者Channel设置qos)未被确认,不进行新的消费。

void basicQOS(unit prefetchSize,ushort prefetchCount,Boolean global)方法。

1.prefetchSize:0 单条消息的大小限制。0就是不限制,一般都是不限制。

2.prefetchCount: 设置一个固定的值,告诉rabbitMQ不要同时给一个消费者推送多余N个消息,即一旦有N个消息还没有ack,则consumer将block掉,直到有消息ack

3.global:truefalse 是否将上面的设置用于channel,也是就是说上面设置的限制是用于channel级别的还是consumer的级别的。

消费端ack与重回队列

1.消费端进行消费的时候,如果由于业务异常我们可以进行日志的记录,然后进行补偿!(也可以加上最大努力次数的尝试)

2.如果由于服务器宕机等严重问题,那我们就需要手动进行ack保证消费端的消费成功!

消息重回队列

1.重回队列就是为了对没有处理成功的消息,把消息重新投递给broker!

2.实际应用中一般都不开启重回队列。

TTL队列/消息

TTL time to live 生存时间。

1.支持消息的过期时间,在消息发送时可以指定。

2.支持队列过期时间,在消息入队列开始计算时间,只要超过了队列的超时时间配置,那么消息就会自动的清除。

死信队列

死信队列:DLX,Dead-Letter-Exchange

利用DLX,当消息在一个队列中变成死信(dead message,就是没有任何消费者消费)之后,他能被重新publish到另一个Exchange,这个Exchange就是DLX。

消息变为死信的几种情况:

1.消息被拒绝(basic.reject/basic.nack)同时requeue=false(不重回队列)

2.TTL过期

3.队列达到最大长度

DLX也是一个正常的Exchange,和一般的Exchange没有任何的区别,他能在任何的队列上被指定,实际上就是设置某个队列的属性。当这个队列出现死信的时候,RabbitMQ就会自动将这条消息重新发布到Exchange上去,进而被路由到另一个队列。可以监听这个队列中的消息作相应的处理,这个特性可以弥补rabbitMQ以前支持的immediate参数的功能。

死信队列的设置

设置Exchange和Queue,然后进行绑定Exchange: dlx.exchange(自定义的名字)queue: dlx.queue(自定义的名字)routingkey: #(#表示任何routingkey出现死信都会被路由过来)然后正常的声明交换机、队列、绑定,只是我们在队列上加上一个参数:arguments.put("x-dead-letter-exchange","dlx.exchange");

rabbitMQ集群模式

1.主备模式:实现rabbitMQ高可用集群,一般在并发量和数据不大的情况下,这种模式好用简单。又称warren模式。(区别于主从模式,主从模式主节点提供写操作,从节点提供读操作,主备模式从节点不提供任何读写操作,只做备份)如果主节点宕机备份从节点会自动切换成主节点,提供服务。

2.集群模式:经典方式就是Mirror模式,保证100%数据不丢失,实现起来也是比较简单。镜像队列,是rabbitMQ数据高可用的解决方案,主要是实现数据同步,一般来说是由2-3节点实现数据同步,(对于100%消息可靠性解决方案一般是3个节点)

format,png

多活模式:这种模式也是实现异地数据复制的主流模式,因为shovel模式配置相对复杂,所以一般来说实现异地集群都是使用这种双活,多活的模式,这种模式需要依赖rabbitMQ的federation插件,可以实现持续可靠的AMQP数据。rabbitMQ部署架构采用双中心模式(多中心)在两套(或多套)数据中心各部署一套rabbitMQ集群,各中心的rabbitMQ服务需要为提供正常的消息业务外,中心之间还需要实现部分队列消息共享。多活架构如下:

format,png

federation插件是一个不需要构建Cluster,而在Brokers之间传输消息的高性能插件,federation可以在brokers或者cluster之间传输消息,连接的双方可以使用不同的users或者virtual host双方也可以使用不同版本的erlang或者rabbitMQ版本。federation插件可以使用AMQP协议作为通讯协议,可以接受不连续的传输。

format,png

Federation Exchanges,可以看成Downstream从Upstream主动拉取消息,但并不是拉取所有消息,必须是在Downstream.上已经明确定义Bindings关系的Exchange,也就是有实际的物理Queue来接收消息,才会从Upstream拉取消息到Downstream。使用AMQP协议实施代理间通信,Downstream 会将绑定关系组合在一起, 绑定/解除绑定命令将发送到Upstream交换机。因此,FederationExchange只接收具有订阅的消息.

HAProxy是一款提供高可用性、负载均衡以及基于TCP (第四层)和HTTP
(第七层)应用的代理软件,支持虚拟主机,它是免费、快速并且可靠的一种解决
方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会
话保持或七层处理。HAProxy运行在时下的硬件上,完全可以支持数以万计的
并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中
同时可以保护你的web服务器不被暴露到网络上。

HAProxy性能为何这么好?

1.单进程、事件驱动模型显著降低了.上下文切换的开销及内存占用.

2.在任何可用的情况下,单缓冲(single buffering)机制能以不复制任何

数据的方式完成读写操作,这会节约大量的CPU时钟周期及内存带宽

a.借助于Linux 2.6 (>= 2.6.27.19). 上的splice()系统调用,HAProxy可以实现

零复制转发(Zero-copy forwarding),在Linux 3.5及以上的OS中还可以实现心零复制启动(zero-starting)

b.内存分配器在固定大小的内存池中可实现即时内存分配,这能够显著减少创

建一个会话的时长

c.树型存储:侧重于使用作者多年前开发的弹性二叉树,实现了以O(log(N))

的低开销来保持计时器命令、保持运行队列命令及管理轮询及最少连接队列

keepAlive

KeepAlived软件主要是通过VRRP协议实现高可用功能的。VRRP是
Virtual Router RedundancyProtocol(虚拟路由器冗余协议)的缩写,
VRRP出现的目的就是为了解决静态路由单点故障问题的,它能够保证当
个别节点宕机时,整个网络可以不间断地运行所以,Keepalived - -方面
具有配置管理LVS的功能,同时还具有对LVS下面节点进行健康检查的功
能,另一方面也可实现系统网络服务的高可用功能

keepAlive的作用

1.管理LVS负载均衡软件

2.实现LVS集群节点的健康检查中

3.作为系统网络服务的高可用性(failover)

Keepalived如何实现高可用

Keepalived高可用服务对之间的故障切换转移,是通过VRRP (Virtual RouterRedundancy Protocol ,虚拟路由器冗余协议)来实现的。在Keepalived服务正常工作时,主Master节点会不断地向备节点发送( 多播的方式)心跳消息,用以告诉备Backup节点自己还活看,当主Master节点发生故障时,就无法发送心跳消息,备节点也就因此无法继续检测到来自主Master节点的心跳了,于是调用自身的接管程序,接管主Master节点的IP资源及服务。而当主Master节点恢复时备Backup节点又会释放主节点故障时自身接管的IP资源及服务,恢复到原来的备用角色


非常强悍的 RabbitMQ 总结,看完别再说你不会RabbitMQ

⚠️注意 ~

💯本期内容就结束了,如果内容有误,麻烦大家评论区指出

如有疑问❓可以在评论区留言💬或私信留言💬,尽我最大能力🏃‍♀️帮大家解决👨‍🏫!

如果我的文章有帮助,欢迎打赏✔️鼓励博主🏃,您的鼓励是我分享的动力🏃🏃🏃~

1602cf1922c64c6eb65173c3ba340829.gif

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值