RocketMQ消息重试

生产者

简单介绍
Producer对发送失败的消息进行重新发送的机制,称为消息发送重试机制,也称为消息重投机制,对消息重投,需要注意一下几点:

  • 生产者在发送消息时,若采用同步或则异步发送方式,发送失败会重试,但oneway消息发送失败是没有重试机制的
  • 只有普通消息具有重试机制,顺序消息是没有的
  • 消息重投机制可以保证消息尽可能发送成功,不丢失,但可能会造成消息重复,消息重复在RocketMQ中是无法避免的问题,消息幂等
  • 消息重复在一般情况下不会发生,当出现消息量大,网络抖动,消息重复就会成为大概率时间
  • Producer主动重发,Consumer负载变化也会导致重复消息
  • 消息重复无法避免,但要避免消息的重复消费
  • 避免消息重复消费的解决方案,为消息添加唯一标识,使消费者对消息进行判断来避免重复消费
  • 消息发送重试有三种策略可以选择,同步发送失败策略,异步发送失败策略,消息刷盘失败策略

同步发送失败策略
对于普通消息,消息发送默认采用round-robin策略来选择所发送的队列,如果发送失败,默认重试2次,但在重试时是不会选择上次发送失败的Broker,而是选择其他Broker,同时,Broker还具有失败隔离功能,使Producer尽量选择未发生过失败的Broker作为目标Broker。其可以保证其他消息尽量不发送到问题Broker,为了提高消息发送效率,降低消息发送耗时。
在这里插入图片描述
如果超过重试次数,则抛出异常,由Producer去保证消息不丢,当然当生产者出现RemtingExceptin,MQClientExceptin和MQBrokerExceptin时,Producer会自动重投消息

异步发送失败策略
异步发送失败重试时,异步重试不会选择其他Broker,仅在同一个Broker上做重试,所以该策略无法保证消息不丢失

消息刷盘失败策略
消息刷盘超时(master或slave)不可用时(slave在做数据同步时,向Master返回状态非SEND_OK)时,默认是不会将消息尝试发送到其他Broker的,不过对于重要消息可以通过在Broker的配置文件设置retryAnotherBrokerWhenBotStoreOk属性为true来开启

消费者

顺序消息的重试
对于顺序消息,当消费者消费消息失败后,消息队列 RocketMQ 会自动不断进行消息重试(每次间隔时间为 1 秒),这时,应用会出现消息消费被阻塞的情况。因此,在使用顺序消息时,务必保证应用能够及时监控并处理消费失败的情况,避免阻塞现象的发生。
在这里插入图片描述
注意顺序消息没有发送重试,但是有消费重试

无序消息的重试
对于无序消息(普通、定时、延时、事务消息),当消费者消费消息失败时,可以通过设置返回状态达到消息重试的结果。
注意
无序消息的重试只针对集群消费方式生效;广播方式不提供失败重试特性,即消费失败后,失败消息不再重试,继续消费新的消息。

重试次数
消息队列 RocketMQ 默认允许每条消息最多重试 16 次,每次重试的间隔时间如下:

第几次重试与上次重试的间隔时间第几次重试与上次重试的间隔时间
110 秒97 分钟
230 秒108 分钟
31 分钟119 分钟
42 分钟1210 分钟
53 分钟1320 分钟
64 分钟1430 分钟
75 分钟151 小时
86 分钟162 小时

在这里插入图片描述
如果消息重试 16 次后仍然失败,消息将不再投递。如果严格按照上述重试时间间隔计算,某条消息在一直消费失败的前提下,将会在接下来的 4 小时 46 分钟之内进行 16 次重试,超过这个时间范围消息将不再重试投递。

对于Consumer Group来说,若仅仅修改一个Consumer的消费重试次数,则会应用到该Group中所有其他的Consumer实例,若出现多个Consumer重试次数不一致的情况,则采用覆盖方式生效,即最后被修改的值会覆盖前面设置的值

注意: 一条消息无论重试多少次,这些重试消息的 Message ID 不会改变。

消费失败后,重试配置方式
集群消费方式下,消息消费失败后期望消息重试,需要在消息监听器接口的实现中明确进行配置(三种方式任选一种):

  • 返回 Action.ReconsumeLater (推荐)
  • 返回 Null
  • 抛出异常
public class MessageListenerImpl implements MessageListener {
    @Override
    public Action consume(Message message, ConsumeContext context) {
        //处理消息
        doConsumeMessage(message);
        //方式1:返回 Action.ReconsumeLater,消息将重试
        return Action.ReconsumeLater;
        //方式2:返回 null,消息将重试
        return null;
        //方式3:直接抛出异常, 消息将重试
        throw new RuntimeException("Consumer Message exceotion");
    }
}

消费失败后,不重试配置方式
集群消费方式下,消息失败后期望消息不重试,需要捕获消费逻辑中可能抛出的异常,最终返回 Action.CommitMessage,此后这条消息将不会再重试。

public class MessageListenerImpl implements MessageListener {
    @Override
    public Action consume(Message message, ConsumeContext context) {
        try {
            doConsumeMessage(message);
        } catch (Throwable e) {
            //捕获消费逻辑中的所有异常,并返回 Action.CommitMessage;
            return Action.CommitMessage;
        }
        //消息处理正常,直接返回 Action.CommitMessage;
        return Action.CommitMessage;
    }
}

自定义消息最大重试次数
消息队列 RocketMQ 允许 Consumer 启动的时候设置最大重试次数,重试时间间隔将按照如下策略:

  • 最大重试次数小于等于 16 次,则重试时间间隔同上表描述。
  • 最大重试次数大于 16 次,超过 16 次的重试时间间隔均为每次 2 小时。
Properties properties = new Properties();
//配置对应 Group ID 的最大消息重试次数为 20 次
properties.put(PropertyKeyConst.MaxReconsumeTimes,"20");
Consumer consumer =ONSFactory.createConsumer(properties);

注意:

  • 消息最大重试次数的设置对相同 Group ID 下的所有 Consumer 实例有效。
  • 如果只对相同 Group ID 下两个 Consumer 实例中的其中一个设置了 MaxReconsumeTimes,那么该配置对两个 Consumer 实例均生效。
  • 配置采用覆盖的方式生效,即最后启动的 Consumer 实例会覆盖之前的启动实例的配置

获取消息重试次数
消费者收到消息后,可按照如下方式获取消息的重试次数:

public class MessageListenerImpl implements MessageListener {
    @Override
    public Action consume(Message message, ConsumeContext context) {
        //获取消息的重试次数
        System.out.println(message.getReconsumeTimes());
        return Action.CommitMessage;
    }
}
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员劝退师-TAO

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值