Redis的消息队列解决方案

本文讨论了消息队列在分布式系统中的需求,包括消息保序、处理重复消息和保证消息可靠性。介绍了Redis利用List和Streams数据类型实现消息队列的方案,特别是如何通过BRPOP、XADD等命令解决消息处理中的问题,并探讨了Redis作为消息队列的优势与适用场景。
摘要由CSDN通过智能技术生成
  • 消息队列的消息存取需求是什么?
  • Redis如何实现消息队列的需求?

消息队列的消息存取需求

在分布式系统中,当两个组件要基于消息队列通信时,一个组件会把要处理的数据以消息的形式传递给消息队列,然后这个组件就可以继续执行其他操作了;远端的另一个组件从消息队列中把消息读取出来,再在本地进行处理。

假设组件1需要对采集到的数据进行求和计算,并写入数据库,但是,消息到达的速度很快,组件1没有办法及时地做采集,又做计算,并且写入数据库。所以,可以使用基于消息队列的通信,这样它就可以继续接受新的数据了。组件2则异步地从消息队列中把数据读取出来,在服务器2上进行求和计算后,再写入数据库。

一般把消息队列中发送消息的组件称为生产者,把接受消息的组件称为消费者。

在使用消息队列时,消费者可以异步读取生产者消息,然后再进行处理。这样一来,急事生产者发送消息的速度远远超过了消费者处理消息的速度,生产者已经发送的消息也可以缓存在消息队列中,避免阻塞生产者,这是消息队列作为分布式组件通信的一大优势。

消息队列在存取消息时,必须满足三个需求,分别是消息保序、处理重复的消息和保证消息可靠性。

需求一:消息保序

虽然消费者是异步处理消息,但是,消费者仍然需要按照生产者发送消息的顺序来处理消息,避免后发送的消息被先处理了。对于要求消息保序的场景来说,一旦出现这种消息被乱序处理的情况,就可能导致业务逻辑被错误执行,从而给业务方造成损失。

假设生产者负责接收库存更新的请求,消费者负责实际更新库存,现有库存量是10。生产者先后发送了消息1和消息2,消息1要把要把商品X的库存记录更新为5,消息2是把商品X库存更新为3.如果消息1和2在消息队列中无法保序,出现消息2早于消息1被处理的情况,那么,很显然更新就出错了。这是业务应用无法接收的。

面对这种情况,你可以会想到一种解决方案:不要把更新后的库存量作为生产者发送的消息,而是把库存扣除值作为消息的内容。这样一来,消息1的扣减库存量5,消息2是扣减库存量2。如果消息1和消息2之间没有库存查询请求的话,急事消费者先处理消息2,再处理消息1,这个方案也能够保证最终的库存量是正确的,也就是库存量为3.

但是,我们还需要考虑这样一种情况:假如消费者收到这样三条消息,消息1是扣减库存量5,消息2是读取库存量量,消息3是扣减库存量2,此时,如果消费者先处理了消息3(把库存量扣减2),那么库存量就变成了8,然后,消费者处理消息2,读取当前库存量是8,这就会出现库存量查询不正确的情况。从业务层面看,消息1、2、3应该是顺序执行的,所以,消息2查询到的应该是扣减了5以后的库存量,而不是扣减2以后的库存量。所以,用库存扣除值作为消息的方案,在消息中同时包含读操作的场景下,会带来数据读取错误的问题。而且,这个方案还会面临一个问题,那就是重复消息处理。

需求二:重复消息处理

消费者从消息队列读取消息时&#

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无绪听雨眠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值