mq消息丢失、消费重复消费、消息积压问题

我们在系统开发时往往会用到mq消息中间件,mq能帮我们进行系统间的解耦,能帮我们将系统进行异步化。例如以前开发一步一步都是串行的,使用mq可以将不需要及时处理的步骤通过消息发送到mq,然后让消费端处理消息实现异步。当在实际使用过程中会遇到各种问题,常见的有消息丢失、消息重复消费,消息积压等问题。

消息丢失

消息丢失可以分为几种情况,如

1.生产者发送消息的时候由于网络抖动或者mq异常导致消息没到mq导致消息丢失。

生产者发送消息时,采用同步发送或者异步发送方式,发送成功mq会返回结果,根据结果进行判断。

其中rocketmq有事务消息,利用事务消息可保证消息发送到mq中。

2.如果mq是主从或者集群模式,内部进行同步时,也会导致消息丢失,或者mq将消息写入磁盘中导致消息丢失。

通过设置mq配置参数,改成同步刷盘,

3.消费端异常导致消息消费失败。

消费端异常,在消费消息的时候通过返回不同结果状态,进行重试机制。

消息重复消费

防止消息重复消费就是要保证消息消费幂等性,就是多次消息消费和一次结果要是一样的。

保证幂等性有很多方式。

1.可以将消息中的id作为主键插入一张数据表,消费一条就插入一条,如果是同一条消息就会报主键冲突。这是利用数据库表进行幂等性。

2.利用redis的setnx也可以进行幂等性设计,没有的话设置成功并返回1,如果有对应的id设置不成功返回0.

消息积压问题

当消费端出现一段时间的异常,生产者还在不停的给mq发送消息,这时没有消息消费了,就会导致消息大量积压。处理方法可以多弄几台机器,配置消费端进行处理。如果对业务影响不大,可以先消费消息不进行业务处理。

  • 2
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值