基于redis的延迟消息队列设计

最新推荐文章于 2024-04-01 13:56:02 发布
最新推荐文章于 2024-04-01 13:56:02 发布
阅读量688 收藏 3
点赞数
文章标签： redis java 数据库
原文链接：https://www.cnblogs.com/peachyy/p/7398430.html
版权

需求背景

  • 用户下订单成功之后隔20分钟给用户发送上门服务通知短信
  • 订单完成一个小时之后通知用户对上门服务进行评价

  • 业务执行失败之后隔10分钟重试一次

    类似的场景比较多 简单的处理方式就是使用定时任务 假如数据比较多的时候 有的数据可能延迟比较严重,而且越来越多的定时业务导致任务调度很繁琐不好管理。

队列设计

目前可以考虑使用rabbitmq来满足需求 但是不打算使用,因为目前太多的业务使用了另外的MQ中间件。

开发前需要考虑的问题？

  • 及时性 消费端能按时收到
  • 同一时间消息的消费权重
  • 可靠性 消息不能出现没有被消费掉的情况
  • 可恢复 假如有其他情况 导致消息系统不可用了 至少能保证数据可以恢复
  • 可撤回 因为是延迟消息 没有到执行时间的消息支持可以取消消费
  • 高可用 多实例 这里指HA/主备模式并不是多实例同时一起工作

  • 消费端如何消费

    当然初步选用redis作为数据缓存的主要原因是因为redis自身支持zset的数据结构(score 延迟时间毫秒) 这样就少了排序的烦恼而且性能还很高,正好我们的需求就是按时间维度去判定执行的顺序 同时也支持map list数据结构。

简单定义一个消息数据结构

private String topic;/***topic**/

private String id;/***自动生成 全局惟一 snowflake**/

private String bizKey;

private long delay;/***延时毫秒数**/

private int priority;//优先级

private long ttl;/**消费端消费的ttl**/

private String body;/***消息体**/

private long createTime=System.currentTimeMillis();

private int status= Status.WaitPut.ordinal();

运行原理：

  1. 用Map来存储元数据。id作为key,整个消息结构序列化(json/…)之后作为value,放入元消息池中。
  2. 将id放入其中(有N个)一个zset有序列表中,以createTime+delay+priority作为score。修改状态为正在延迟中
  3. 使用timer实时监控zset有序列表中top 10的数据 。 如果数据score<=当前时间毫秒就取出来,根据topic重新放入一个新的可消费列表(list)中,在zset中删除已经取出来的数据,并修改状态为待消费
  4. 客户端获取数据只需要从可消费队列中获取就可以了。并且状态必须为待消费 运行时间需要<=当前时间的 如果不满足 重新放入zset列表中,修改状态为正在延迟。如果满足修改状态为已消费。或者直接删除元数据。

客户端

因为涉及到不同程序语言的问题,所以当前默认支持http访问方式。

  1. 添加延时消息添加成功之后返回消费唯一ID POST /push {…..消息体}
  2. 删除延时消息 需要传递消息ID GET /delete?id=
  3. 恢复延时消息 GET /reStore?expire=true|false expire是否恢复已过期未执行的消息。
  4. 恢复单个延时消息 需要传递消息ID GET /reStore/id
  5. 获取消息 需要长连接 GET /get/topic

用nginx暴露服务,配置为轮询 在添加延迟消息的时候就可以流量平均分配。

目前系统中客户端并没有采用HTTP长连接的方式来消费消息,而是采用MQ的方式来消费数据这样客户端就可以不用关心延迟消息队列。只需要在发送MQ的时候拦截一下 如果是延迟消息就用延迟消息系统处理。

消息可恢复

实现恢复的原理 正常情况下一般都是记录日志,比如mysql的binlog等。

这里我们直接采用mysql数据库作为记录日志。

目前打算创建以下2张表:

  1. 消息表 字段包括整个消息体
  2. 消息流转表 字段包括消息ID、变更状态、变更时间、zset扫描线程Name、host/ip

定义zset扫描线程Name是为了更清楚的看到消息被分发到具体哪个zset中。前提是zset的key和监控zset的线程名称要有点关系 这里也可以是zset key。

举个栗子

假如redis服务器宕机了,重启之后发现数据也没有了。所以这个恢复是很有必要的,只需要从表1也就是消息表中把消息状态不等于已消费的数据全部重新分发到延迟队列中去,然后同步一下状态就可以了。

当然恢复单个任务也可以这么干。

关于高可用

分布式协调还是选用zookeeper吧。

如果有多个实例最多同时只能有1个实例工作 这样就避免了分布式竞争锁带来的坏处,当然如果业务需要多个实例同时工作也是支持的,也就是一个消息最多只能有1个实例处理,可以选用zookeeper或者redis就能实现分布式锁了。

最终做了一下测试多实例同时运行,可能因为会涉及到锁的问题性能有所下降,反而单机效果很好。所以比较推荐基于docker的主备部署模式。

扩展

支持zset队列个数可配置 避免大数据带来高延迟的问题。

目前存在日志和redis元数据有可能不一致的问题 如mysql挂了,写日志不会成功。

设计图：

另外分享一个不完整简陋的开源版本  https://github.com/peachyy/sdmq.git  后期会进行模块拆分 优化

 

repoman_
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于Redis实现的延迟消息队列
12-28
整个延迟队列由4个部分组成： 1. JobPool用来存放所有Job的元信息。 2. DelayBucket是一组以时间为维度的有序队列，用来存放所有需要延迟的Job（这里只存放Job Id）。 3. Timer负责实时扫描各个Bucket，并将delay...
redis实现延迟消息队列
03-29
基于Redis实现的延迟消息队列java版：delay-queue 整体结构 整个延迟队列由4个部分组成： JobPool用来存放所有Job的元信息。 DelayBucket是一组以时间为维度的有序队列，用来存放所有需要延迟的Job（这里只存放Job...
Redis 做延迟消息队列
初听不知曲中意，再听已是曲中人。
03-07 1135
看到消息队列，我们肯定会想到各种MQ，比如：RabbitMQ，acivityMQ、RocketMQ、Kafka等。但是，当我们需要使用消息中间件的时候，并非每次都需要非常专业的消息中间件，假如我们只有一个消息队列，只有一个消费者，那就没有必要去使用上面这些专业的消息中间件，这种情况我们可以考虑使用 Redis 来做消息队列。
田哥 手把手教 你用 Redis 做延迟消息队列
田维常
03-19 691
关注“Java后端技术全栈”回复“面试”获取全套面试资料千里之行，始于足下——老子背景看到消息队列，我们肯定会想到各种MQ，比如：RabbitMQ，acivityMQ、RocketMQ、K...
Redis如何实现延迟消息？
最新发布
sinat_53467514的博客
04-01 1017
当我们要添加一个数据到延迟队列的时候，redission会把数据+超时时间放到zset中，并且起一个延时任务，当任务到期的时候，再去zset中把数据取出来，返回给客户端使用。所以，消息延迟是必然存在的，随着数据量越大延迟越长，延迟个几分钟都是常事儿。而且，在Redis 5.0之前，这个消息是通过PUB/SUB模式发出的，他不会做持久化，至于你有没有接到，有没有消费成功，他不管。基于Redisson的实现方式，是可以解决基于zset方案中的并发重复问题的，而且还能实现方式也比较简单，稳定性、性能都比较高。
Redis实现延迟队列
qq_63438013的博客
12-16 828
延时队列相比于普通队列最大的区别就体现在其延时的属性上，普通队列的元素是先进先出，按入队顺序进行处理，而延时队列中的元素在入队时会指定一个延迟时间，表示其希望能够在经过该指定时间后处理或者是在某个时间进行处理。
教你如何基于Redis来实现高性能延时消息队列！
Javatutouhouduan的博客
12-07 1767
最近在倒腾自建博客后端系统，需要用到延时任务的功能，但手头只有一套MySQL和Redis，如果搞一套MQ成本有点大，于是想着用redis实现延时消息队列。有些场景用数据库的定时扫表也能简单实现延时消息的功能，不过对于我这边的实际场景(比如计数系统)其实是把数据存到redis中，如果用数据库实现延时消息会对数据库有比较大的压力。
Redis的延迟队列实现，我瞅一眼
人生在手
12-20 510
Redis的延时队列实现流程图
Go-Delayer-基于Redis的延迟消息队列中间件
08-14
基于 Redis 的延迟消息队列中间件，采用 Golang 开发，支持 PHP、Golang 等多种语言客户端。
微服务SpringBoot整合Redis基于Redis的Stream消息队列实现异步秒杀下单
11-10
【微服务SpringBoot整合Redis基于Redis的Stream消息队列实现异步秒杀下单】这篇文章主要讲解了如何在微服务架构中使用SpringBoot整合Redis来构建一个基于Redis Stream的消息队列，以此来实现实时、高效的异步秒杀...
PHP基于Redis消息队列实现发布微博的方法
10-19
Redis是一个高性能的键值存储系统，常用于缓存、消息队列和其他数据结构服务。结合PHP，我们可以构建一个高效、低延迟的微博发布系统，有效降低数据库的并发压力。 首先，我们需要在服务器上安装Redis和PHP的Redis...
Redis实现异步消息队列，延时队列
ruanhao1203的专栏
03-20 1万+
异步消息队列 Redis中的 list（列表）实现异步消息队列，使用rpush / lpush 操作插入队列消息，使用 lpop 和 rpop 来出队消息。 ​ ​ 队列空了怎么办？ 如果队列空了，客户端就会陷入pop的死循环，不停地pop，没有数据，接着pop，有没有数据。这样的空轮询拉高了客户端的CPU，redis的QPS也会被拉高...
Redis 异步消息队列与延时队列
wzbwzh的专栏
09-28 1万+
        消息中间件，大家都会想到  Rabbitmq 和 Kafka 作为消息队列中间件，来给应用程序之间增加异步消息传递功能。这两个中间件都是专业的消息队列中间件，特性之多超出了大多数人的理解能力。但是这种属于重量级的应用，使用比较麻烦点。如果是轻量级的，使用 Redis就可以。比如对于那些只有一组消费者的消息队列，使用 Redis 就可以非常轻松的搞定。Redis 的消息队列不是专业的...
用 Redis 做一个可靠的延迟队列
HollisChuang's Blog
07-21 415
Hollis的新书限时折扣中，一本深入讲解Java基础的干货笔记！我们先看看以下业务场景：当订单一直处于未支付状态时，如何及时的关闭订单，并退还库存？新创建店铺，N天内没有上传商品，系统如何知道该信息，并发送激活短信？上述场景最简单直接的解决方案是定时扫表。我们假设 10 分钟未支付则关闭订单、定时任务设置为 5 分钟一次，那么一个订单最晚会在 15 分钟关闭。高达 5 ...
如果把 4 个消息队列都拉到一个群里，他们会聊些什么？
悟空聊架构的专栏
10-16 5749
本篇的灵感来自我超级喜欢的一篇文章：《如果把中国 442 位皇帝都放在一个群里面，他们会聊些什么》。 其实我的第一篇文章就是用这种方式写的《悟空聊无事务》，这也是我的公众号名字的来源，叫做：「悟空聊架构」 。 本篇也会以 「群聊、单聊、朋友圈」 的方式来讲解计算机世界中消息队列的一些奇闻趣事。 从事软件开发的同学，一定都听过或用过消息队列，比如 RabbitMQ，Kafka。消息队列简单来说就是生产者将很多消息放到一个队列结构中，由其他消费者来消费。想了解更多队列的知识，看下我之前写的 18 个 Queue
redis用zset做延时消息
mingwulipo的博客
11-22 1044
把执行时间作为分数，存到zset中。 定时任务，分数倒序取出第一个，小于当前时间，说明消息可以执行了 发送延时消息服务 public Object publishDelayedMsg() { OrderDTO dto = new OrderDTO(); dto.setId(1); dto.setCreateTime(new Date());...
你知道Redis可以实现延迟队列吗？
架构师小秘圈
10-07 431
作者：_BKing来源：www.cnblogs.com/xiaowei123/p/13222710.html最近，又重新学习了下Redis，深深被Redis的魅力所折服，Redis不仅能...
RocketMQ-名词和架构
热门推荐
不是很懂
09-29 2万+
RocketMQ rocketMQ是做什么的我就不用解释了吧，以及他的背景。本文主要是为了让大家明白RocketMQ的工作原理。 主要名词解释 ProducerGroup由一组Producer组成 Topic Broker Queue ConsumerGroup
springboot redis延迟消息队列实现代码怎么写
05-18
实现延迟消息队列可以使用 Redis 的 sorted set 数据结构，其中 score 表示消息的执行时间戳，member 表示消息内容。每隔一段时间轮询一次 sorted set，将 score 小于当前时间的消息取出来执行即可。 下面是一个基于 Spring Boot 和 Redis 的简单实现代码： 首先引入 Redis 相关依赖，在 pom.xml 文件中添加以下内容： ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> ``` 然后创建一个消息实体类 DelayMessage，用于存储消息内容和执行时间戳： ```java public class DelayMessage { private String message; private long executeTime; // getter 和 setter 方法省略 } ``` 接着创建一个 Redis 延迟消息队列的服务 DelayQueueService，其中包含添加消息和轮询消息的方法： ```java @Service public class DelayQueueService { private static final String DELAY_QUEUE_KEY = "delay_queue"; @Autowired private RedisTemplate<String, Object> redisTemplate; // 添加延迟消息 public void addDelayMessage(DelayMessage message) { redisTemplate.opsForZSet().add(DELAY_QUEUE_KEY, message, message.getExecuteTime()); } // 轮询延迟消息 public List<DelayMessage> pollDelayMessage() { long currentTime = System.currentTimeMillis(); Set<Object> messages = redisTemplate.opsForZSet().rangeByScore(DELAY_QUEUE_KEY, 0, currentTime); if (messages != null && !messages.isEmpty()) { List<DelayMessage> result = new ArrayList<>(); for (Object message : messages) { redisTemplate.opsForZSet().remove(DELAY_QUEUE_KEY, message); result.add((DelayMessage) message); } return result; } return null; } } ``` 最后在需要使用延迟消息队列的地方调用 addDelayMessage 方法添加消息，轮询消息可以单独开一个线程或者使用定时任务实现。 注意：以上代码只是一个简单的示例，实际使用中需要考虑分布式环境下的并发问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值