基于redis实现的轻量级延迟队列

最新推荐文章于 2024-10-02 05:39:15 发布
最新推荐文章于 2024-10-02 05:39:15 发布
阅读量33 收藏
点赞数
文章标签： redis 数据库 缓存
原文链接：https://mp.weixin.qq.com/s?__biz=MzUxOTc4NjEyMw==&mid=2247582766&idx=3&sn=5f17a7e5f5f7d69c830c70860a308e0f&chksm=f88d9f4208c62a62203ef90db85b47c8e3e9f4bff6dbb2514814723b44886960620a6d2b0fa0&scene=126&sessionid=0
版权

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑，欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料： 

dbaf16c13331e656210b4aa7bf1793c5.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目，前端包括管理后台 + 微信小程序，后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号等等功能：

  • Boot 仓库：https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 仓库：https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程：https://doc.iocoder.cn

【国内首批】支持 JDK 21 + SpringBoot 3.2.2、JDK 8 + Spring Boot 2.7.18 双版本 

来源：juejin.cn/post/
7339801868473466918

b5406e81b92ca05fa147e2cafe175643.jpeg

什么是延迟队列

延迟队列 （Delay Queue）是一种存储消息并在特定延迟时间后将其投递到消费者的队列机制。在传统消息队列中，消息会立即被推送给消费者进行处理，但在某些场景下，我们希望消息在一段时间后再被消费者处理。

延迟队列的工作原理

延迟队列的工作原理通常是将消息先存储在队列中，消息的投递时间会被延迟，直到延迟时间到达时才将消息投递给消费者进行处理。这种机制保证了消息能够在指定的延迟时间后才会被处理，实现了消息的延迟投递。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址：https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程：https://doc.iocoder.cn/video/

延迟队列的使用场景

  1. 电商平台，超过 30 分钟未支付的订单，将会被取消

  2. 商品签收后，3天未确认，自动确认

  3. 在平台注册但 30 天内未登录的用户，发短信提醒

  4. 预定会议后，需要在预定的时间点前十分钟通知各个与会人员参加会议

  5. 商品抢购，预定后，开售前30分钟提醒

场景很多，就不一一列举，这些场景都有一个特点，需要在某个事件发生之后或者之前的指定时间点完成某一项任务。这些就可以使用延迟队列来解决

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址：https://github.com/YunaiV/yudao-cloud

  • 视频教程：https://doc.iocoder.cn/video/

延迟队列常见的实现方式

  1. 通过程序的方式实现，例如 [JDK] 自带的延迟队列 DelayQueue

  2. 通过 [MQ] 框架来实现，例如 [RabbitMQ] 可以通过 rabbitmq-delayed-message-exchange 插件来实现延迟队列

  3. 通过 Redis 的方式来实现延迟队列

JDK 自带的延迟队列 DelayQueue

优点

  1. 开发比较方便，可以直接在代码中使用

  2. 代码实现比较简单

缺点

  1. 不支持持久化保存

  2. 不支持分布式系统

MQ 实现方式

[RabbitMQ]本身并不支持延迟队列，但可以通过添加插件 rabbitmq-delayed-message-exchange 来实现延迟队列。

优点

  1. 支持分布式

  2. 支持持久化

缺点

框架比较重，需要搭建和配置 MQ。

Redis 实现方式

[Redis] 是通过有序集合（ZSet）的方式来实现延迟消息队列的，ZSet 有一个 Score 属性可以用来存储延迟执行的时间。

优点

  1. 灵活方便，[Redis]是互联网公司的标配，无序额外搭建相关环境；

  2. 可进行消息持久化，大大提高了延迟队列的可靠性；

  3. 分布式支持，不像 JDK 自身的 DelayQueue；

  4. 高可用性，利用 Redis 本身高可用方案，增加了系统健壮性。

缺点

需要使用无限循环的方式来执行任务检查，会消耗少量的系统资源。

综合以上，我们决定使用redis去实现延迟队列，刚好有个开源项目lmstfy基于redis实现的，下面介绍下这个项目的使用

lmstfy

美图开源的 lmstfy（https://github.com/bitleak/lmstfy）（let me schedule task for you），基于 redis 存储，使用 golang 开发，资源占用少，轻量级，并且经受美图线上环境大流量验证多年，较适合用来做延迟队列。

lmstfy特点

  1. 支持基本的消息队列特性：发布消息，消费消息，删除消息；

  2. 支持以下额外特性

  3. 支持消息有效期，过期自动删除；

  4. 支持消息延迟消费；

  5. 支持消息自动重试

  6. 支持死信队列

  7. 支持命名空间，队列级别的[prometheus] 监控，提供grafana dashboard；

  8. 支持发布，消费流量控制。

lmstfy工作原理

b04341b59fc7826cc0fe4fde71426660.jpeg

如上图所示：

  1. 消息经过生产者发布到lmstfy,如果delay时间大于0，则消息被扔到[redis]的ZSet中(score为延迟绝对时间)，等延迟时间到了，才会挪到就绪队列；如果delay为0，则消息直接到就绪队列。

  2. 消费者每次都是从就绪队列消费消息；

  3. 服务器内部会有Timer，每隔一秒检查ZSet中是否有到期的消息，有则将消息移到就绪队列供消费者消费；

  4. 每一个消息发布的时候，可以设置最多被消费的次数，如果达到最大次数都还未正确处理(delete或者ack)，则消息会被挪到死信队列；

  5. 业务可以选择复活死信队列中的消息，也可以选择直接删除死信队列中的消息；被复活的死信消息会再次挪到就绪队列中，可以被消费者正常消息。

lmstfy服务端安装部署

前提

lmstfy是依赖[redis]实现的延迟队列，所以首先要安装redis，redis的安装教程可以谷歌搜一搜， 只需要注意一点，redis的持久化，使用AOF 即可，淘汰策略使用noeviction 不淘汰任何数据，当内存不足时，新增操作会报错

reids的配置：
# 持久化设置为aof
appendonly yes
# 内存淘汰策略设置为 noeviction
maxmemory-policy noeviction
编译二进制文件
#下载代码 
git clone https://github.com/bitleak/lmstfy.git
# 进入项目目录
cd lmstfy
# 使用make编译项目，当前目录会生成一个二进制文件，文件所在目录./_build
make```  
### lmstfy的配置文件  
```Host = "127.0.0.1"
Port = 7776
AdminHost = "127.0.0.1" # optional, default to localhost
AdminPort = 7778 
#LogDir = "/var/log/lmstfy"
LogLevel = "info"
#LogFormat = "text" # Use LogFormat="json" if wants to print the log with json format
EnableAccessLog = true

## [default params](https://mp.weixin.qq.com/s/HNNA9lr7eWsmMfw23PwGIQ)
#TTLSecond = 24 * 60 * 60 // 1 day
#DelaySecond = 0
#TriesNum = 1
#TTRSecond = 2 * 60 // 2 minutes
#TimeoutSecond = 0  // means non-blocking

## [basic auth accounts for the admin api](https://mp.weixin.qq.com/s/HNNA9lr7eWsmMfw23PwGIQ)
[Accounts]
test_user = "change.me"

[AdminRedis]  # redis used to store admin data, eg. tokens
Addr = "localhost:6379"
## [Password = foobared](https://mp.weixin.qq.com/s/HNNA9lr7eWsmMfw23PwGIQ)

[Pool]
[Pool.default]
Addr = "localhost:6379"
## [Password = foobared](https://mp.weixin.qq.com/s/HNNA9lr7eWsmMfw23PwGIQ)
## [DB = 0](https://mp.weixin.qq.com/s/HNNA9lr7eWsmMfw23PwGIQ)
#MigrateTo = "migrate" # When migration is enabled, all PUBLISH will go to `migrate` pool. and `default` will be drained
#[Pool.migrate]
#Addr = "localhost:6389"

#[Pool.mysentinel]
## [Addr = "localhost:16379,localhost:6380,localhost:6381"](https://mp.weixin.qq.com/s/HNNA9lr7eWsmMfw23PwGIQ)
## [MasterName = "mymaster"](https://mp.weixin.qq.com/s/HNNA9lr7eWsmMfw23PwGIQ)
## [Password = foobared](https://mp.weixin.qq.com/s/HNNA9lr7eWsmMfw23PwGIQ)

启动lmsfty

_build/lmstfy-server -c config/demo-conf.toml

以上步骤lmsfty服务器端就启动完成了，那客户端怎么使用呢？

lmstfy客户端

申请token

imstfy使用namespace做业务隔离，每个业务一个[token] ，需要向服务端申请，如果服务端开启了basic auth accounts验证，调用接口的时候 需要传入配置文件的账号，例如上面的配置，调用的时候需要传入”change.me“

例子：namespace为kb-test,申请[token]

curl --location 'http://127.0.0.1:7778/token/kb-test' \
--header 'Content-Type: application/x-www-form-urlencoded' \
--header 'Authorization: Basic dGVzdF91c2VyOmNoYW5nZS5tZQ==' \
--data-urlencode 'description=test'

postman调用

8419445ec977f188495524583260ba6a.jpeg

结果 ：

{
    "token": "01HQJ7EQBDZT88JH79BDE4FAYC"
}

官方目前支持的语言有 go、[Java] 、php、Rust，我这里使用 go 简单演示下如果使用。

生产者

引入github.com/bitleak/lmstfy/client这个包，代码如下：

package main

import (
 "fmt"
 "github.com/bitleak/lmstfy/client"
)

func main() {
 c := client.NewLmstfyClient("127.0.0.1", 7776, "kb-test", "01HQJ7EQBDZT88JH79BDE4FAYC")

 c.ConfigRetry(3, 50) // optional, config the client to retry when some errors happened. retry 3 times with 50ms interval
 //Publish a job with ttl==forever, tries==3, delay==5s ,注意ttl设置的时间一定要大于delay
 jobId, err := c.Publish("test", []byte("test"), 100, 3, 30)
 if err == nil {
  fmt.Println("消息发送成功", jobId)
 }
}

消费者

package main

import (
 "fmt"
 "github.com/bitleak/lmstfy/client"
)

func main() {
 c := client.NewLmstfyClient("127.0.0.1", 7776, "kb-test", "01HQJ7EQBDZT88JH79BDE4FAYC")

 c.ConfigRetry(3, 50) // optional, config the client to retry when some errors happened. retry 3 times with 50ms interval

 for {
  job, err := c.Consume("test", 6, 3)
  if err != nil {
   panic(err)
  }
  if job != nil {
   fmt.Println(string(job.Data))
   //接收到消息，成功处理了， 对消息进行ack去人
   err1 := c.Ack("test", job.ID)
   if err1 == nil {
    fmt.Println("消息出来成功并且确认")
   }
  }

 }
}

以上 就是 lmstfy 的介绍以及使用，简单比较轻量，其他语言，可以看 github 上的示例。

欢迎加入我的知识星球，全面提升技术能力。

👉 加入方式，“长按”或“扫描”下方二维码噢：

c4308494877e992021796cfdac3035c8.png

星球的内容包括：项目实战、面试招聘、源码解析、学习路线。

cf2c54e9f526a3093fdf0dcabf702805.png

0a0f0f0fe7b5ba020c5d72536ab624c7.pnge8de0d91688221f0865157d8a3ba4902.png3dfcc3442a771c2f400fb738abad45bf.pngb35f081d3e6410fa970879ad886721f6.png

文章有帮助的话，在看，转发吧。
谢谢支持哟 (*^__^*）
Java基基
关注
PHP基于Redis实现轻量级延迟队列
weixin_43814458的博客
11-28 617
延迟队列，顾名思义它是一种带有延迟功能的消息队列。 那么，是在什么场景下我才需要这样的队列呢？ 一、背景 先看看一下业务场景： 1.会员过期前3天发送召回通知 2.订单支付成功后，5分钟后检测下游环节是否都正常，比如用户购买会员后，各种会员状态是否都设置成功 3.如何定期检查处于退款状态的订单是否已经退款成功？ 4.实现通知失败，1，3，5，7分钟重复通知，直到对方回复？ 通常解决以上...
通过Redis实现延迟队列
weixin_39098944的博客
03-09 1152
前言 实现延迟队列的方式有很多种，有本地自己jdk方式实现、Quartz 定时任务实现、RabbitMQ 延时队列实现，还有Redis方式实现。综合自己的生产情况，Redis是符合分布式服务及开发成本较小的一种方式。基本的机制如下图 本文将通过工具包Redisson用极简单的方式来实现一个延迟队列。同时提供一下比较完备的例子。 延迟队列的使用场景 背景： 1、当订单一直处于未支付状态时，如何及时地关闭订单 2、如何定期检查处于退款状态的订单是否已经退款成功 3、在订单长时间没有收到下游系统的状态通知的时候
PHP多进程 基于Redis实现轻量级延迟队列
lxw1844912514的博客
01-21 976
延迟队列，顾名思义它是一种带有延迟功能的消息队列。那么，是在什么场景下我才需要这样的队列呢？一、背景先看看一下业务场景：1.会员过期前3天发送召回通知2.订单支付成功后，5分钟后检测下游...
基于redis实现的轻量级延迟队列- lmstfy
qq_33228984的博客
02-27 948
延迟队列（Delay Queue）是一种存储消息并在特定延迟时间后将其投递到消费者的队列机制。在传统消息队列中，消息会立即被推送给消费者进行处理，但在某些场景下，我们希望消息在一段时间后再被消费者处理。
php 前端实时 队列_PHP多进程 基于Redis实现轻量级延迟队列
weixin_36001196的博客
12-24 164
原标题：PHP多进程 基于Redis实现轻量级延迟队列作者：爱的奇迹，前百度高级工程师，现供职于微博，一直做 PHP 相关的开发工作。链接：https://github.com/chenlinzhong/php-delayqueue延迟队列，顾名思义它是一种带有延迟功能的消息队列。 那么，是在什么场景下我才需要这样的队列呢？一、背景先看看一下业务场景：1.会员过期前3天发送召回通知2.订单支付成...
Redis实现延迟队列
zhangyifang_009的博客
05-31 1337
个人推荐使用Redisson 的。
Redis 实现延迟队列的方案总结
2201_75783970的博客
07-03 904
需要注意的是，生产环境中不推荐使用此方案。原因在于 Redis 的过期策略采用的是惰性删除和定期删除相结合的方式，Redis 并不保证 Key 在过期时会被立即删除。这种方法比监听过期 Key 更合理一些，但仍存在一些缺陷，比如无重试机制、延迟时间固定化（依赖定时任务的执行时间），并且不适用于大规模的延迟任务。3. 监听过期 Key：当 Key 过期时，Redis 会将过期通知推送给监听者，从而触发延迟任务的执行。2. 设置 Key 的过期时间：在业务逻辑中，给需要延迟执行的任务设置一个过期时间。
开源项目亮点推荐：基于Redis的轻量级消息队列——rmq
gitblog_00022的博客
06-16 382
开源项目亮点推荐：基于Redis的轻量级消息队列——rmq rmqA small java message queue based on Redis项目地址:https://gitcode.com/gh_mirrors/rmq1/rmq 在日新月异的技术世界里，高效的消息传递系统是构建分布式系统和微服务架构的关键。今天，我们带您深入了解一款小巧而强大的开源项目——rmq（Redis Messag...
基于Redis实现的延迟消息队列
热门推荐
Yampery
02-11 1万+
1. 设计方案 2. 代码实现 2.1 技术说明 2.2 核心代码 2.2.1 Message对象 2.2.2 Route(消息路由器) 2.2.3 RedisMq(消息队列) 2.2.4 RedisMq消息队列配置： 2.2.5 消费者 4. 测试 3. 总结 4. 源码连接 本文以redis为数据结构基础，配合Spring管理机制，使用java实现了一个轻量级、可配置的消息...
Go-delay-queue基于Redis实现的延迟队列
08-14
本项目是基于Go语言和Redis实现的延迟队列，借鉴了有赞（Zan）的设计思路，旨在提供一种高效、可靠的延迟服务。 首先，我们要理解Go语言的特点。Go，也称为Golang，是由Google开发的一种静态类型的编译型编程语言，...
基于Redis实现的简单消息队列
06-03
通过上述方法，你可以使用Redis构建一个简单而实用的消息队列系统，尤其适用于轻量级、低延迟的应用场景。但如果你的项目需要更高级的功能，如消息分发策略、集群支持和事务处理，可能需要考虑使用专门的消息队列...
Fastrq基于redis的队列双向队列优先队列和堆栈以及众多增强版本
08-09
Fastrq作为Python的Redis队列库，提供了一种轻量级的替代方案，特别是在需要自定义队列逻辑或者对性能有较高要求的场合。 通过limen-fastrq-9d37eb7这个压缩包，我们可以获取到Fastrq的源代码，深入研究其内部实现...
Redis: 持久化之RDB和AOF
Wang的专栏
09-29 1000
Redis 有一个高质量的课题：数据安全性与数据可靠性Redis 是一个内存型数据库，数据大部分都是存在内存里面当信息在内存中流通时，Redis 节点突然就故障挂掉当重新启动的时候，内存中的数据肯定是全部丢失了如果在这种情况下，Redis 提供了对应的持久化方案，它有两种持久化方案RDB和AOF可以把内存中的数据保存到磁盘，避免数据的流失关于RDB，我们需要了解到什么是持久化什么是快照RDB的工作原理，包括它的优点和缺点关于AOF，需要知道为什么需要有AOF。
Redis-常见数据类型(修改ing)
qq_74812898的博客
09-29 953
redis常用数据类型
Redis-持久化
qq_74812898的博客
09-28 944
redis持久化
如何使用Redisson的布隆过滤器？
最新发布
付聪
10-02 218
【代码】如何使用Redisson的布隆过滤器？
尚硅谷redis147答疑 redis源码redisObject dict
2401_86733530的博客
09-28 546
总结：虽然在`redisObject`的结构定义中没有直接看到`dict`，但在实际使用中，对于哈希类型的对象，`redisObject`的`ptr`字段会指向一个`dict`结构。- 当Redis创建一个哈希对象时，它会创建一个`redisObject`，将其`type`设置为哈希类型，然后`ptr`指向一个新创建的`dict`结构。- Redis使用了一种灵活的设计，`redisObject`的`ptr`字段可以指向不同类型的数据结构，包括但不限于`dict`。
Redis篇（环境搭建）
wlcass zhengge blog
09-26 827
Windows系统中启动Redis，直接双击redis-server.exe即可启动Redis服务，redis服务默认端口号为6379。双击 redis-cli.exe 即可启动Redis客户端，默认连接的是本地的Redis服务，而且不需要认证即可连接成功。前面我们已经启动了Redis服务，默认情况下Redis启动后是在前台运行，而且客户端不需要密码就可以连接到。如果没有指定，就说明可以接受。通过 redis-cli 可以连接到本地的Redis服务，默认情况下不需要认证即可连接成功。
docker延迟队列插件
05-29
有一个比较流行的 Docker 延迟队列插件叫做 "docker-delay-queue"，它是一个轻量级的、基于 Redis 的延迟队列解决方案，可以帮助开发者在 Docker 中实现延迟任务的处理。这个插件可以在容器中运行，通过监听 Redis ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值