【Redis】5.消息队列

最新推荐文章于 2024-08-14 10:32:43 发布
最新推荐文章于 2024-08-14 10:32:43 发布
阅读量597 收藏 1
点赞数 3
分类专栏： # Redis 文章标签： redis java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51146329/article/details/127625956
版权

文章目录

1. 消息队列概述

Redis不仅可以作为缓存中间件，还可以做为消息队列。

最简单的消息队列模型包含这3个基本的角色：

  • 消息队列：存储和管理消息，也被称为消息代理（Message Broker）
  • 生产者：发送消息到消息队列
  • 消费者：从消息队列获取消息并处理消息

在这里插入图片描述

使用消息队列的好处方便就在于可以解耦。

消息队列使用得最普遍的场景莫过于秒杀业务。用户下单之后，利用redis进行校验下单条件，再通过消息队列将消息发送出去，随后启动一个线程去消费这个消息。这一过程中，不仅仅完成了解耦，而且在秒杀过程中，可以”省去“写订单进数据库的事件，提高了响应速度。

基于Redis实现的消息队列有以下几种：

  1. 基于List实现消息队列
  2. 基于PubSub的消息队列
  3. 基于Stream的消息队列

使用Redis消息队列

2. Redis基于List实现消息队列

List是简单的字符串列表，可以添加一个元素到List的头部（左边）或者是尾部（右边）

所以List可以用作异步队列使用，将需要进行的任务转化为字符串然后存在Redis的List中，另外一个线程则根据顺序进行读取，处理异步任务。

在这里插入图片描述

不过要注意的是，当队列中没有消息时RPOP或LPOP操作会返回null，并不像JVM的阻塞队列那样会阻塞并等待消息。因此这里应该使用BRPOP或者BLPOP来实现阻塞效果。

基于List实现消息队列分别有以下优缺点
优点：

  • 利用Redis存储，不受限于JVM内存上限
  • 基于Redis的持久化机制，数据安全性有保证
  • 可以满足消息有序性

缺点：

  • 无法避免消息丢失
  • 只支持单消费者

List 常用命令

命令用法描述
LPUSHLPUSH key value [value …]将一个或多个值 value 插入到列表 key 的表头如果有多个 value 值，那么各个 value 值按从左到右的顺序依次插入到表头
RPUSHRPUSH key value [value …]将一个或多个值 value 插入到列表 key 的表尾(最右边)
LPOPLPOP key移除并返回列表 key 的头元素。
BLPOPBLPOP key [key …] timeout移出并获取列表的第一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止
RPOPRPOP key移除并返回列表 key 的尾元素。
BRPOPBRPOP key [key …] timeout移出并获取列表的最后一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
BRPOPLPUSHBRPOPLPUSH source destination timeout从列表中弹出一个值，将弹出的元素插入到另外一个列表中并返回它；如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
RPOPLPUSHRPOPLPUSH source destinationb命令 RPOPLPUSH 在一个原子时间内，执行以下两个动作：将列表 source 中的最后一个元素(尾元素)弹出，并返回给客户端。将 source 弹出的元素插入到列表 destination ，作为 destination 列表的的头元素
LLENLLEN key返回列表 key 的长度。如果 key 不存在，则 key 被解释为一个空列表，返回 0 .如果 key 不是列表类型，返回一个错误
LRANGELRANGE key start stop返回列表 key 中指定区间内的元素，区间以偏移量 start 和 stop 指定

3. Redis基于PubSub实现消息队列

PubSub（发布订阅）是Redis2.0版本引入的消息传递模型。顾名思义，消费者可以订阅一个或多个channel，生产者向对应channel发送消息后，所有订阅者都能收到相关消息。

相对于List而言，PubSub是一种发布订阅模式，而List是一种点对点的模式。

在这里插入图片描述

基于PubSub的消息队列以下优缺点
优点：

  • 采用发布订阅模型，支持多生产、多消费

缺点：

  • 不支持数据持久化
  • 无法避免消息丢失
  • 消息堆积有上限，超出时数据丢失

Pub/Sub 常用命令：

命令用法描述
PSUBSCRIBEPSUBSCRIBE pattern [pattern …]订阅一个或多个符合给定模式的频道
PUBSUBPUBSUB subcommand [argument [argument …]]查看订阅与发布系统状态
PUBLISHPUBLISH channel message将信息发送到指定的频道
PUNSUBSCRIBEPUNSUBSCRIBE [pattern [pattern …]]退订所有给定模式的频道
SUBSCRIBESUBSCRIBE channel [channel …]订阅给定的一个或多个频道的信息
UNSUBSCRIBEUNSUBSCRIBE [channel [channel …]]指退订给定的频道

4. Redis基于Stream的消息队列

Stream 是 Redis 5.0 引入的一种新数据类型，可以实现一个功能非常完善的消息队列。也是Redis中最常用来作为消息队列的一种实现方法。

发送消息的命令：

在这里插入图片描述

举个栗子：

在这里插入图片描述

读取消息的方式之一：XREAD

在这里插入图片描述

举个栗子：

在这里插入图片描述

在业务开发中，我们可以循环的调用XREAD阻塞方式来查询最新消息，从而实现持续监听队列的效果，伪代码如下

在这里插入图片描述

注意：当我们指定起始ID为$时，代表读取最新的消息，如果我们处理一条消息的过程中，又有超过1条以上的消息到达队列，则下次获取时也只能获取到最新的一条，会出现漏读消息的问题

STREAM类型消息队列的XREAD命令特点：

  • 消息可回溯
  • 一个消息可以被多个消费者读取
  • 可以阻塞读取
  • 有消息漏读的风险

于是就出现了消费组

消费者组（Consumer Group）：将多个消费者划分到一个组中，监听同一个队列。具备下列特点：

在这里插入图片描述

创建消费者组：

在这里插入图片描述

groupName：消费者组名称

ID：起始ID标示，$代表队列中最后一个消息，0则代表队列中第一个消息
MKSTREAM：队列不存在时自动创建队列
其它常见命令：

删除指定的消费者组

XGROUP DESTORY key groupName

给指定的消费者组添加消费者

XGROUP CREATECONSUMER key groupname consumername

删除消费者组中的指定消费者

XGROUP DELCONSUMER key groupname consumername

从消费者组读取消息：

XREADGROUP GROUP group consumer [COUNT count] [BLOCK milliseconds] [NOACK] STREAMS key [key ...] ID [ID ...]
  • group：消费组名称
  • consumer：消费者名称，如果消费者不存在，会自动创建一个消费者
  • count：本次查询的最大数量
  • BLOCK milliseconds：当没有消息时最长等待时间
  • NOACK：无需手动ACK，获取到消息后自动确认
  • STREAMS key：指定队列名称
  • ID：获取消息的起始ID：

“>”：从下一个未消费的消息开始
其它：根据指定id从pending-list中获取已消费但未确认的消息，例如0，是从pending-list中的第一个消息开始

在这里插入图片描述

STREAM类型消息队列的XREADGROUP命令特点：

  • 消息可回溯
  • 可以多消费者争抢消息，加快消费速度
  • 可以阻塞读取
  • 没有消息漏读的风险
  • 有消息确认机制，保证消息至少被消费一次

这三种结构的对比：

在这里插入图片描述

参考:
【互联网全栈架构】Redis 消息队列的三种方案（List、Streams、Pub/Sub）
黑马程序员Redis入门到实战教程，深度透析redis底层原理+redis分布式锁+企业解决方案+黑马点评实战项目

起名方面没有灵感
关注
专栏目录
redis-queue-stream:redis 流的消息队列
08-04
redis 流的消息队列。 支持 Redis >= 5.0.0 和 (Node.js >= 8)。 快速开始 安装 $ npm install redis-queue-stream 基本用法 const redisQueue = require ( 'redis-queue-stream' ) ; const RedisQ = new redisQueue ( config , option ) ; RedisQ . Pub ( 'send' , { msg1 : 'msg1' , msg2 : 'msg2' } ) ; const message = RedisQ . Sub ( 'send' ) ; RedisQ . Xack ( 'send' , '1567505432681-0' ) ; 安万斯 const EventEmitter = require ( 'event' )
Redis3.2.100免安装版
08-01
- **Streams 数据结构**：虽然这个特性在 Redis 5.0 引入，但在 3.2 版本中已经奠定了基础，它是 Redis 的一种新数据类型，用于实现消息队列和日志服务。 - **Bitfield 操作**：允许对单个字符串进行位操作，极大...
Redis(五)消息队列
Not Found 404
09-07 278
消息队列 消息队列主要分为两种，分别是生产者消费者模式和发布者订阅者模式，这两种模式 Redis 都支持， 生产者消费者模式： 在生产者/消费者(Producer/Consumer)模式下， 上层应用接收到的外部请求后开始处理其当前步骤的操作，在执行完成后将已经完成的操作发送至指定的频道(channel)当中，并由其下层的应用监听该频道并继续下一步的操作， 如果其处理完成后没有下一步的操作就直接返...
Redis5配置-Redis
最新发布
龙哥·三年风水从2011年开始做IT工作，从ps画图到前端开发->后端开发->框架开发->业务架构设计及开发->业务需求整理、开发->技术经理->技术总监
08-14 200
Redis5主从配置-Redis-centos7
redis笔记5 stream消息队列
Erick Lv的笔记
11-21 928
基础 Stream结构相当于一个消息队列。消息是存储在磁盘上的，而且是链式结构。每个stream都有自己的唯名称，是redis的key。stream在集群情况下，也是异步复制的。 每个stream上可以有多个消费组，每个消费组都可以有自己的游标last_delivered_id在Stream上往前移动，表示当前消费组消费到了那条消息。 消费组有Stream内的唯一的名称，使用xgroup_crea...
Streams：深入剖析Redis5.0全新数据结构
weixin_30699443的博客
10-23 255
Streams：深入剖析Redis5.0全新数据结构 原创： 阿飞的博客 Redis 5.0 全新的数据类型：streams，官方把它定义为：以更抽象的方式建模日志的数据结构。Redis的streams主要是一个append only的数据结构，至少在概念上它是一种在内存中表示的抽象数据类型，只不过它们实现了更强大的操作，以克服日志文件本身的限制。 如果你了解MQ，那么可以...
基于Redis的Stream类型的完美消息队列解决方案
混血王子的博客
09-22 1705
1 概述 Redis5.0带来了Stream类型。从字面上看是流类型，但其实从功能上看，应该是Redis对消息队列（MQ，Message Queue）的完善实现。用过Redis做消息队列的都了解，基于Reids的消息队列实现有很多种，例如： PUB/SUB，订阅/发布模式 基于List的 LPUSH+BRPOP 的实现 基于Sorted-Set的实现 每一种实现，都有典型的特点和问题，这个在 Redis 实现消息队列一文中有介绍。基于Redis实现消息队列http://www.hellokang.n
微服务SpringBoot整合Redis基于Redis的Stream消息队列实现异步秒杀下单
11-10
【微服务SpringBoot整合Redis基于Redis的Stream消息队列实现异步秒杀下单】这篇文章主要讲解了如何在微服务环境中，使用SpringBoot框架与Redis相结合，通过Redis的Stream功能来构建一个高效的消息队列，以实现异步...
redis-6.2.13.tar.gz
09-26
Redis 是一个高性能的键值数据库，它以开源的方式提供服务，广泛应用于缓存、消息队列、数据存储等多个场景。Redis-6.2.13是Redis的一个稳定版本，提供了许多增强的功能和优化，旨在提高性能和稳定性。下面将详细...
NewLife.Redis:高性能Redis客户端，支持.NETCore.NET4.0.NET4.5，为大数据与消息队列而特别优化，线上单应用日均100亿调用量
04-29
Redis协议基础实现Redis/RedisClient位于，本库为扩展实现，主要增加列表结构、哈希结构、队列等高级功能。 源码： Nuget：NewLife.Redis 特性 在ZTO大数据实时计算广泛应用，200多个Redis实例稳定工作一年多，每天...
redis stream 实现消息队列
爱码猿的博客
04-07 8317
redis stream 实现消息队列 Redis5.0带来了Stream类型。从字面上看是流类型，但其实从功能上看，应该是Redis对消息队列（MQ，Message Queue）的完善实现。 基于redis实现消息队列的方式有很多： PUB/SUB，订阅/发布模式 基于List的 LPUSH+BRPOP 的实现 redis 实现消息对列4中方法 发布订阅 发布订阅优点： 典型的一对的，所有消费者都能同时消费到消息。主动通知订阅者而不是订阅者轮询去读。 发布订阅缺点： 不支持多个消费者公平消费消息，消息
redis-stream-queue：redis流v5 +上的消息队列。 双流延迟队列
02-15
Redis流队列 Redis流v5 +上的消息队列。 redis v5 +流，ES6 __keyevent@5__:expired保证__keyevent@5__:expired消息（ __keyevent@5__:expired ）不丢失 采用ES6 +异步/等待+面向对象设计 达到易读懂，方便修改。 vscode上有专项预测开发的扩展插件： 安装 npm install redis-stream-queue 基本用法 const { RedisQueue } = require ( 'redis-stream-queue' ) const IORedis = require ( 'ioredis' ) const client = new IORedis ( opt ) const mq = RedisQueue . init ( { client } ) const sKey =
Redis5新特性Streams作消息队列
YANGTAO_0的博客
01-07 274
前言Redis 5 新特性中，Streams 数据结构的引入，可以说它是在本次迭代中最大特性。它使本次 5.x 版本迭代中，Redis 作为消息队列使用时，得到更完善，更强大的原生支持，...
【redis】stream消息队列
王佑辉的博客
06-29 1827
***/@Slf4j@Override//TODO 消费异常时处理逻辑log.error("发生了异常", e);/*** 消息队列自定义注解*//*** 消息队列的 key* @return*//*** 消费者组* @return*//*** 消息反序列化类型* @return*//*** 是否自动 acknowledge* @return*//*** 每次拉取的消息数,线程池每秒拉取一次* @return*//**
Redis 消息队列 Stream
激流丶的博客
06-10 3722
Stream 是 Redis 5.0 版本中新增的一种数据结构，它是一个高性能、持久化的消息队列，可以用于实现消息的发布和订阅。Stream 可以看作是一个有序的消息队列，每个消息都有一个唯一的 ID，可以根据 ID 进行消息的查找、删除和确认。在 Stream 中，消息以键值对的形式存储，可以存储任意类型的数据。Stream 还支持多个消费者组，每个消费者组可以独立消费消息，避免消息重复消费。Stream 的引入使得 Redis 在消息队列领域更具竞争力，同时也为开发者提供了一种高效、可靠的消息处理方式。
Redis消息队列——Redis Stream
z2431435的博客
05-26 2万+
文章目录消息队列为什么不使用Redis 发布订阅 (pub/sub) 来实现消息队列Stream消息队列相关命令：消费者组相关命令：Stream最简单的生产、消费模型Stream 优点/改进Stream 支持「阻塞式」拉取消息支持发布 / 订阅模式XADD key ID field value [field value ...]Stream 能保证消息不丢失，重新消费Stream 数据会写入到 RDB 和 AOF 做持久化消息堆积时，Stream的处理专业的消息队列 消息队列 “消息队列”是在消息的传输过程
5分钟学会Redis实现消息队列
热门推荐
猿医ˉ生
03-13 2万+
Redis实现消息队列 一、前言 首先明确消息队列的作用：异步、解耦、削峰。 在业务的实现过程中，就算没有大量的流量，解耦和异步化几乎也是处处可用，此时MQ就显得尤为重要。 但与此同时MQ也是一个重量级的组件，在中小型业务的开发...
11.Redis系列之Stream消息队列及K8S部署单节点
算法小生
11-05 811
Stream实际上是一个具有消息发布/订阅功能的组件，也就常说的消息队列。其实这种类似于 broker/consumer(生产者/消费者)的数据结构很常见，比如 RabbitMQ 消息中间件、 Kafka 分布式消息系统等，而 Redis Stream 正是借鉴了 Kafaka 系统。优点: Stream 除了拥有很高的性能和内存利用率外, 它最大的特点就是提供了消息的持久化存储，以及主从复制功能，从而解决了网络断开、Redis 宕机情况下，消息丢失的问题，即便是重启 Redis，存储的内容也会存在。
redis学习-21- Redis Stream消息队列
时光
05-01 964
redis学习-21- Redis Stream消息队列
Redis链表实现消息队列详解：brpop与lpush
"Redis作为一款高性能的键值存储系统，其内部的数据结构和特性使得它也可以被用来实现消息队列。本文主要探讨的是通过Redis的链表数据结构来构建消息队列，以及如何利用阻塞操作优化消费者等待过程。" 在Redis中，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

起名方面没有灵感

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值