RabbitMQ高级特性——学习笔记

消息如何保障100%的投递成功?
  • 什么是生产端的可靠性投递?

    保障消息的成功发出

    保障MQ节点的成功接收

    发送端收到MQ节点(Broker)确认应答

    完善的消息进行补偿机制

  • BAT/TMD互联网大厂的解决方案:

    1. 消息落库,对消息状态进行打标

在这里插入图片描述

step1:先将msg持久化,打上标记status=0

step2:发送信息到MQ节点

step3:收到信息

step4:修改标记为status=1

如果第三步出现问题,导致一直收到不信息,因此,需要一个定时任务,不断轮询status=0,启动step6重新发送信息,当重发次数达到上限,将状态status设置为2,标记为已丢失,由后期进行处理。

思考:在高并发的场景下是否适合?

  1. 消息的延迟投递,做二次确认,回调检查(少一次DB存储)

在这里插入图片描述

消费端——幂等性保障

在海量订单产生的业务高峰期,如何避免消息的重复消费问题?

业界主流的幂等性操作:

  • 唯一ID+指纹锁 机制:利用数据库主键去重

    select count(1) from t_order where id = 唯一ID+指纹锁
    

    好处:实现简单

    坏处:高并发下有数据库写入的性能瓶颈

    解决方案:跟进ID进行分库分表进行算法路由

  • 利用Redis原子特效实现

    使用Redis进行幂等,需要考虑的问题:

    第一:我们是否要进行数据落库,如果落库的话,关键解决的问题是数据库和缓存如何做到原子性?

    第二:如果不进行落库,那么都存储到缓存中,如何设置定时同步的策略?

Confirm确认消息

机制:消息的确认,是指生产者投递消息后,如果Broker收到消息,则会给我们生产者一个应答,生产者进行接受应答,用来确定这条消息是否正常的发送到Broker,这种方式也是消息的可靠性投递的核心保障。

流程图:

在这里插入图片描述

如何实现Confirm确认消息?

第一步:在channel上开启确认模式:channel.confirmSelect()

第二步:在channel上添加监听:addConfirmListener,监听成功和失败的返回结果,根据具体的结果对消息进行重新发送、或记录日志等后续处理

Return消息机制

如果我们发送消息的时候,当前的exchange不存在或者指定的路由key路由不到,这个时候如果我们需要监听这种不可达的消息,就要使用Return LIstener。

关键配置项:

  • Mandatory:如果为true,则监听器会接收到路由不可达的消息,然后进行后续处理,如果为false,那么broker端自动删除该消息!
消费者自定义监听
channel.basicConsume(queueName,true,new MyConsumer(channel));

创建MyConsumer类继承DefaultConsumer类,重写handleDelivery方法

消费端限流

RabbitMQ提供了一种Qos(服务质量保证)功能,即在非自动确认消息的前提下,如果一定数目的消息(通过基于consume或者channel设置Qos的值)未被确认前,不进行消费新的消息。

void BasicQo(uint prefetchSize,ushort prefetchCount,bool global);

prefetchSize:0

prefetchCount:会告诉RabbitMQ不要同时给一个消费者推送多与N个消息,即一旦有N个消息还没有ack,则该consumer将block掉,直到有消息ack

global:true\false 是否将上面设置应用于channel(简单说,就是上面限制是channel级别还是consumer级别)

但是rabbitmq暂未实现prefetchSize和global这两项,同时,prefetch_count在no_ack = false的情况下使用,在自动应答下是无效的。

消费端ACK

手工ACK和NACK

消费端进行消费的时候,如果由于业务异常我们可以进行日志的记录,然后进行补偿!

如果由于服务器宕机等严重问,那我们就需要手工进行ACK保障消费端消费成功!

消费端的重回队列

消费端重回队列是为了对没有处理成功的消息,把消息重新会递给Broker,实际应用中,都会关闭重回队列,也就是设置为false。

TTL队列/消息

TTL:Time To Live ,生存时间

RabbitMQ支持消息的过期时间,在消息发送时可以进行指定

RabbitMQ支持队列的过期时间,从消息入队列开始计算,只要超过了队列的超时时间配置,那么消息会自动的清除

死信队列

DLX:Dead-Letter-Exchange

l利用DLX,当消息在一个队列中变成死信(dead message)之后,它能被重新publish到另一个Exchange,这个Exchange就是DLX

消息变成死信有以下几种情况:

  • 消息被拒绝,并且requeue = false

  • 消息TTL过期

  • 队列达到最大长度

死信队列设置:

设置exchange和queue,然后进行绑定,如:

Exchange: dlx.exchange
Queue: dlx.queue
RoutingKey: #

然后我们进行正常声明交换机、队列、绑定,只不过我们需要在队列加上一个参数即可:

arguments.put("x-dead-letter-exchange","dlx.exchange");
RabbitMQ是一个功能强大的消息队列中间件,具有许多高级特性。以下是一些常见的高级特性: 1. 消息确认:RabbitMQ支持消息确认机制,确保消息在发送和接收之间的可靠传输。当消费者成功处理一条消息后,它可以向RabbitMQ发送确认消息,然后RabbitMQ将删除该消息。如果消费者在处理过程中遇到问题,消息将保持在队列中,并在消费者重新连接后重新传送。 2. 消息持久化:RabbitMQ允许将消息标记为持久化,以确保即使在服务器故障时也不会丢失。当发布一条持久化消息时,RabbitMQ将把它写入磁盘,以便在重启后能够恢复。 3. 死信队列:RabbitMQ支持死信队列机制,用于处理无法被消费者成功处理的消息。当消息被拒绝或超过了最大尝试次数时,它将被发送到死信队列,而不会再次被消费者接收。 4. 消息优先级:RabbitMQ允许为消息设置优先级,以确保重要消息能够更快地被消费者处理。具有较高优先级的消息将被优先发送到消费者。 5. 长轮询:RabbitMQ支持长轮询机制,使得消费者能够等待队列中的消息而不需要频繁的轮询。当没有可用消息时,RabbitMQ将暂时挂起连接,直到有消息可供消费。 6. 发布/订阅模式:RabbitMQ支持发布/订阅模式,允许一个消息被多个消费者接收。发布者发布消息到交换器,而交换器将消息传递给所有订阅了该交换器的队列。 这些是RabbitMQ的一些高级特性,它们使得RabbitMQ成为一个可靠、灵活且功能强大的消息队列中间件。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值