消息队列
消息队列 (Message Queue),字面意思就是存放消息的队列。最简单的消息队列模型包括3个角色
消息队列:存储和管理消息,也被称为消息代理 (Message Broker)
生产者:发送消息到消息队列
消费者:从消息队列获取消息并处理消息
在JVM以外 不受jvm内存限制 持久化不会消失
可以使用RabbitMQ RocketMQ
也可以使用Redis实现
Redis提供了三种不同的方式来实现消息队列
list结构:基于List结构模拟消息队列
PubSub:基本的点对点消息模型
stream:比较完善的消息队列模型
List结构
队列入口与出口不同 使用双向链表的LPUSH RPOP 或者RPUSH LPOP
使用BRPOP BLPUSH 带有阻塞效果
优点:
利用Redis存储,不受限于JVM内存上限
基于Redis的持久化机制,数据安全性有保证
可以满足消息有序性
缺点:
无法避免消息丢失
只支持单消费者
基于PubSub的消息队列
PubSub (发布订阅)是Redis2.0版本引入的消息传递模型。顾名思义,消费者可以订阅一个或多个channel,生产者向对应的channel发送消息后,所有订阅者都能收到相关消息。
优点:
采用发布订阅模型,支持多生产、多消费
缺点:
不支持数据持久化
无法避免消息丢失
消息堆积有上限,超出时数据丢失
基于stream的消息队列
Stream 是 Redis 5.0 引入的一种新数据类型,可以实现一个功能非常完善的消息队列。
发送消息:
读取消息:
消息永久存在
STREAM类型消息队列的XREAD命令特点:
- 消息可回溯
- 一个消息可以被多个消费者读取
- 可以阻塞读取
- 有消息漏读的风险
解决消息漏读问题
消费者组(Consumer Group):将多个消费者划分到一个组中,监听同一个队列。具备下列特点:
- 消息分流
- 消息标示:标记最后一个被处理的消息
- 消息确认
STREAM类型消息队列的XREADGROUP命令特点:
消息可回溯
可以多消费者争抢消息,加快消费速度
可以阻塞读取
没有消息漏读的风险
有消息确认机制,保证消息至少被消费一次