基于 Redis Stream 的消息队列

基于 Redis Stream 的消息队列

参阅

• redis 实现消息队列的4种方案
• 菜鸟 - Redis Stream
• Redis Streams tutorial
• Redis Streams 介绍

Redis Stream 是 Redis 5.0 版本新增加的数据结构。

Redis Stream 主要用于消息队列（MQ，Message Queue），Redis 本身是有一个 Redis 发布订阅 (pub/sub) 来实现消息队列的功能，但它有个缺点就是消息无法持久化，如果出现网络断开、Redis 宕机等，消息就会被丢弃。

简单来说发布订阅 (pub/sub) 可以分发消息，但无法记录历史消息。

而 Redis Stream 提供了消息的持久化和主备复制功能，可以让任何客户端访问任何时刻的数据，并且能记住每一个客户端的访问位置，还能保证消息不丢失。

Redis Stream 的结构如下所示，它有一个消息链表，将所有加入的消息都串起来，每个消息都有一个唯一的 ID 和对应的内容：

每个 Stream 都有唯一的名称，它就是 Redis 的 key，在我们首次使用 xadd 指令追加消息时自动创建。

上图解析：

• Consumer Group ：消费组，使用 XGROUP CREATE 命令创建，一个消费组有多个消费者(Consumer)。
• last_delivered_id ：游标，每个消费组会有个游标 last_delivered_id，任意一个消费者读取了消息都会使游标 last_delivered_id 往前移动。
• pending_ids ：消费者(Consumer)的状态变量，作用是维护消费者的未确认的 id。 pending_ids 记录了当前已经被客户端读取的消息，但是还没有 ack (Acknowledge character：确认字符）。

以上内容引自 菜鸟 - Redis Stream

消息队列相关命令

• XADD - 添加条目(entry)到末尾
• XTRIM - 对流进行修剪。注意只能删除已经存在的条目，不能限制之后的条目的最大长度
• XDEL - 删除条目
• XLEN - 获取流包含的条目数量，即条目长度
• XRANGE - 获取条目列表，会自动过滤已经删除的条目