Redis 定长队列，实现消息分组、按批次消费

最新推荐文章于 2024-02-27 09:03:31 发布
最新推荐文章于 2024-02-27 09:03:31 发布
阅读量1k 收藏 2
点赞数
分类专栏： 技术实践收集 Redis 文章标签： redis 分布式 队列
原文链接：https://mp.weixin.qq.com/s/QUwGm8ggCXYgAakicEvX1g
版权

文章目录

核心内容

业务背景

在这里插入图片描述

需求

1 生产者收集数据，消费者按批次上报数据
2 有分组、按批次消费、时效性要求

方案设计

方案1 内存队列

不满足跨进程消费的要求。

PASS。

方案2 Kafka、RocketMQ等

满足分组消费。但是，
1 消费者端，对Producer已生成但Consumer未接收的消息数目未知、对消息到达不可控，是被动消费，故不满足时效性、按批次消费
2 未满足按批数量的情况下，需要本地额外缓存已到达的消息，不如直接用Redis。

PASS。

方案3 Redis 定长队列

一个消息分组对应一个队列
生产者
生产消息进队列

消费者
遍历所有队列，如果某个队列的消息数目满足要求，取出消费，上报该批次消息

满足分组、批次消费、时效性。

代码设计

分组、队列设计

生产者

消费者

技术文章

在这里插入图片描述

参考文章

Redis 定长队列的探索和实践

漫步者TZ
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java利用Redis实现消息队列的示例代码
08-29
本篇文章主要介绍了Java利用Redis实现消息队列的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Redis的批量操作是什么？怎么实现的延时队列？以及订阅模式、LRU。
Jimoer
01-04 475
前言 这次的内容是我自己为了总结Redis知识而扩充的，上一篇其实已经总结了几点知识了，但是Redis的强大，以及适用范围之广可不是单单一篇博文就能总结清的。所以这次准备继续总结，因为第一个问题，Redis的批量操作，是我在面试过程中被真实问到的，当时没答上来，也是因为确实没了解过Redis的批量操作。 当时的问题，我还记得比较清晰：Redis执行批量操作的功能是什么？使用场景就是搞促销活动时，会做预缓存，会往缓存里放大批数据，如果直接放的话那么会很慢，怎么能提高效率呢？ Redis的批量操作-管道（pip
SpringBoot+Redis实现不重复消费的队列
最新发布
m0_60681411的博客
02-27 1547
本文通过一个功能实践介绍了SpringBoot+Redis实现消息队列消费的过程。
Redis消息队列 发布与消费
qq_41913447的博客
12-29 757
Redis list队列
redis实现定长队列
hit、run
03-06 1002
redis实现定长队列
redis rpush队列内容批量获取
王静静的博客
03-23 4849
先用lrange key 1 10 获取到内容 再用 ltrim key 10 -1（到-1表示开始到最后）保留10 到最后的所有数据，也就是删除1-10的数据。 要保证数据取和删的一致性： //取16个元素 List<String> list= redisService.lrange(GlobalConfig.HEART_BEAT_LOGIC,...
Redis实现消息队列的方式
RHHcainiao的博客
03-08 1339
Redis实现队列的几种方式
Redis实战（5）——Redis实现消息队列
contact97的博客
08-05 5592
消息队列，顾名思义，就是一个存放消息的队列。最简单的消息队列包含3个角色。$\textcolor{red}{Redis 提供了三种实现消息队列的方式，基于List结构、PubSub、Stream结构}$
基于python实现操作redis及消息队列
09-08
主要介绍了基于python操作redis及消息队列,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Qt 应用Redis 实现消息队列
11-03
Qt 使用 Redis实现 消息队列，点对点 生产者-消费者 模式
详解Redis用链表实现消息队列
09-10
Redis有两种方式实现消息队列，一种是用Redis自带的链表数据结构，另一种是用Redis发布/订阅模式实现，这篇文章先介绍链表实现消息队列，有需要的朋友们可以参考借鉴。
基于Redis实现的延迟消息队列
12-28
#### 整体结构 整个延迟队列由4个部分组成： 1. JobPool用来存放所有Job的元信息。 2. DelayBucket是一组以时间为维度的有序队列，...4. ReadyQueue存放处于Ready状态的Job（这里只存放JobId），以供消费程序消费。
Redis实现消息队列的4种方案
YHJ
05-10 8887
原文链接：Redis实现消息队列的方案 Redis作为内存中的数据结构存储，常用作数据库、缓存和消息代理。它支持数据结构，如 字符串，散列，列表，集合，带有范围查询的排序集（sorted sets），位图（bitmaps），超级日志（hyperloglogs），具有半径查询和流的地理空间索引。Redis具有内置复制，Lua脚本，LRU驱逐，事务和不同级别的磁盘持久性，并通过Redis Sentinel和Redis Cluster自动分区。 为了实现其出色的性能，Redis使用内存数据集（in-memor
分布式 - 消息队列Kafka：Kafka消费者的分区分配策略
你今天真好看呀
08-12 947
RangeAssignor 分配策略的原理是按照消费者总数和分区总数进行整除运算来获得一个跨度，然后将分区按照跨度进行平均分配，以保证分区尽可能均匀地分配给消费者组内所有的消费者。针对每一个主题而言，RangeAssignor策略会将订阅这个主题的消费组内的所有消费者按照名称的字典序排序，然后为每个消费者划分固定的分区范围，如果不够平均分配，那么字典序靠前的消费者会被多分配一个分区。① 消费者组1订阅了主题A，则对主题A内的分区按照序号进行排序，对消费者组1内的消费者按照名称的字典序进行排序。
redis队列消费调度类 - PHP原生
Yang952323的博客
12-06 63
【代码】redis队列消费调度类 - PHP原生。
【Redis】Redis 的学习教程（十）之使用 Redis 实现消息队列
sco5282的博客
09-18 2757
消息队列需要满足的要求：Redis 提供了三种不同的方式来实现消息队列：因为 list 底层的实现就是一个「链表」，在头部和尾部操作元素，时间复杂度都是 O(1)，这意味着它非常符合消息队列的模型如果你的业务需求足够简单，想把 Redis 当作队列来使用，肯定最先想到的就是使用 list 这个数据类型常用的命令：生产者：消费者：这个模型非常简单，如下图：当队列中已经没有消息了，消费者在执行 RPOP 时，会返回 NULL我们在编写消费者逻辑时，一般是一个「死循环」，这个逻辑需要不断地从队列中拉取消息进行处理
springboot整合redis，实现队列异步消费
weixin_38719072的博客
06-09 1164
springboot整合redis，实现队列异步消费
mq消费，多条累积定时定量批量消费
dandanforgetlove的专栏
03-02 1960
mq消费handle中的方法部分代码 // 队列处理 if (ElasticSearchEnums.ES_UPDATE.getMqType().equalsIgnoreCase(mqType)) { return loanEsQueueService.updateLoanToEs(object); } else if (ElasticSearchEnums.ES_INSERT.getMqType().equalsIgnoreCase(mqType)) { ..
基于Redis实现消息队列的实践
凡夫编程
10-03 900
Redis队列和MQ消息队列各有优势，Redis的最大特点就是快，所以基于Redis的消息队列相比MQ消息队列而言，更适合实时处理，但是基于Redis的消息队列更易受服务器内存限制；而RocketMQ消息队列作为专业的消息中间件产品，功能更完善，更适合应用于比较复杂的业务场景，可以实现离线消息发送、消息可靠投递以及消息的安全性，但MQ消息队列的读写性能略低于Redis队列。在技术选型时，除了上述的因素外，还有一个需要注意：大多数系统都会引入Redis作为基础的缓存中间件使用，如果要选用RocketMQ的话，
redis实现消息队列
08-04
Redis可以通过使用Stream数据结构来实现消息队列。在Redis中，消息队列可以使用XADD命令将消息发送到队列中，使用XREADGROUP命令从队列中读取消息，并使用XACK命令确认消息已被处理。 首先，可以使用XADD命令将消息...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值