day18 redis stream

redis stream

redis stream 是 redis 5.0 新增的数据结构。

它主要用于消费队列(MQ),redis 本身是有一个 redis 发布订阅(pub/sub)来实现消息队列的功能,但是它有一个确定就是消息无法持久化,如果出现网络断开、redis宕机等,消息就会被丢弃。即发布订阅(pub/sub)功能可以分发消息,但不能记录历史消息。

而 redis stream 提供了消息的持久化和主备复制功能,可以让任何客户端访问任何时刻的数据,并记住每一个客户端的访问位置,还能保证消息不丢失。

结构图与介绍

在这里插入图片描述

它是一个消息链表,将所有加入的消息都串起来,每个消息都有一个唯一的 ID 和对应的内容。

每个 stream 都有唯一的名称,它就是 redis 的 key ,在我们首次使用 xadd 指定追加消息时自动创建。

图片解释

  • Consumer Group:消费组,使用 XGROUP CREATE 敏力创建,一个消费组有多个消费者(Consumer)
  • Last_delivered_id:游标,每个消费组会有个游标 last_delivered_id,任意一个消费者读取了消息都会使游标向前移动。
  • pending_ids:消费者(Consumer)的状态变量,作用是维护消费者的未确认id。pending_ids 记录了当前已经被客户端读取的消息,但是还没有 ack(确认字符)

相关命令

消息队列相关命令

  • XADD:添加消息到末尾
  • XTRIM:对流进行修剪,限制长度
  • XDEL:删除消息
  • XLEN:获取流包含的元素数量,即消息长度
  • XRANGE:获取消息队列,会自动过滤已经删除的消息
  • XREVRANGE:反向获取消息列表,ID 从大到小
  • XREAD:以阻塞或非阻塞方式获取消息列表

消费者组相关命令

  • XGROUP CREATE:创建消费者组
  • XREADGROUP GROUP:读取消费者组中的消息
  • XACK:将消息标记为 “已经处理”
  • XGROUP SETID:为消费者组设置新的最后递送消息ID
  • XGROUP DELCONSUMER:删除消费者
  • XGROUP DESTROY:删除消费者组
  • XPENDING:显示待处理消息的相关信息
  • XCLAIM:转移消息的归属权
  • XINFO:查看流和消费者组的相关信息
  • XINFO GROUPS:打印消费者组的信息
  • XINFO STREAM:打印流信息

命令解析

XADD

使用 XADD 向队列添加消息,如果指定的队列不存在,则创建一个队列。

XADD key ID field value [field value …]

  • key:队列名称,如果不存在就创建
  • ID:消息ID,我们使用 * 表示由 redis 生成,可以自定义,但是要自己保证递增性
  • field value:记录
> XADD mystream * name sara surname oconnor
"1601372323627-0"

> XADD mystream * field1 value1 field2 value2
"1601372323627-1"

> XLEN mystream
(integer) 2

>XRANGE mystream
1) 1) "1601372323627-0"
   2) 1) "name"
      2) "sara"
      3) "surname"
      4) "oconnor"
2) 1) "1601372323627-1"
   2) 1) "field1"
      2) "value1"
      3) "field2"
      4) "value2"

XTRIM

使用 XTRIM 对流进行修剪,限制长度

XTRIM key MAXLEN [~] count

  • key:队列名称
  • MAXLEN:长度
  • count:数量
> XADD mystream * field1 A field2 B
"1601372434568-0"

> XTRIM mystream MAXLEN 2
(integer) 0

> XRANGE mystream - +
1) 1) "1601372434568-0"
   2) 1) "field1"
      2) "A"
      3) "field2"
      4) "B"

XDEL

使用 XDEL 删除信息

XDEL key ID [ID…]

  • key:队列名称
  • ID:消息ID
> XADD mystream * a 1
1538561698944-0

> XADD mystream * b 2
1538561700640-0

> XADD mystream * c 3
1538561701744-0

> XDEL mystream 1538561700640-0
(integer) 1

> XRANGE mystream - +
1) 1) 1538561698944-0
   2) 1) "a"
      2) "1"
2) 1) 1538561701744-0
   2) 1) "c"
      2) "3"

XLEN

使用 XLEN 获取流包含的元素数量,即消息长度。

XLEN key

  • key:队列名称
> XADD mystream * item 1
"1601372563177-0"
> XADD mystream * item 2
"1601372563178-0"
> XADD mystream * item 3
"1601372563178-1"

> XLEN mystream
(integer) 3

XRANGE

使用 XRANGE 获取消息队列,对自动过滤已经删除的消息

XRANGE key start end [COUNT count]

  • key:队列名
  • start:开始值,-表示最小值
  • end:结束值,+表示最大值
  • count:数量
> XADD writers * name virginia surname woolf
"1601372577811-0"
> XADD writers * name jane surname austen
"1601372577811-1"
> XADD writers * name toni surname morrison
"1601372577811-2"

> XLEN writers
(integer) 3

> XRANGE writers - + COUNT 2
1) 1) "1601372577811-0"
   2) 1) "name"
      2) "virginia"
      3) "surname"
      4) "woolf"
2) 1) "1601372577811-1"
   2) 1) "name"
      2) "jane"
      3) "surname"
      4) "austen"

XREVRANGE

使用 XREVRANGE 获取消息队列,会自动过滤已经删除的消息

XREVRANGE key end start [COUNT count]

  • key:队列名
  • end:结束值,+表示最大值
  • start:开始值,-表示最小值
  • count:数量
> XADD writers * name virginia surname woolf
"1601372577811-0"
> XADD writers * name jane surname austen
"1601372577811-1"
> XADD writers * name toni surname morrison
"1601372577811-2"

> XLEN writers
(integer) 3

> XREVRANGE writers + - COUNT 1
1) 1) "1601372577811-2"
   2) 1) "name"
      2) "toni"
      3) "surname"
      4) "morrison"

XREAD

使用 XREAD 以阻塞或非阻塞方式获取消息队列

XREAD [COUNT count] [BLOCK milliseconds] STREAMS key [key …] id [id …]

  • count:数量
  • millseconds:可选,阻塞毫秒数,没有设置就是非阻塞式
  • key:队列名
  • id:消息ID
# 从 Stream 头部读取两条消息
> XREAD COUNT 2 STREAMS mystream writers 0-0 0-0
1) 1) "mystream"
   2) 1) 1) 1526984818136-0
         2) 1) "duration"
            2) "1532"
            3) "event-id"
            4) "5"
            5) "user-id"
            6) "7782813"
      2) 1) 1526999352406-0
         2) 1) "duration"
            2) "812"
            3) "event-id"
            4) "9"
            5) "user-id"
            6) "388234"
2) 1) "writers"
   2) 1) 1) 1526985676425-0
         2) 1) "name"
            2) "Virginia"
            3) "surname"
            4) "Woolf"
      2) 1) 1526985685298-0
         2) 1) "name"
            2) "Jane"
            3) "surname"
            4) "Austen"

XGROUP CREATE

使用 XGROUP CREATE 创建消费者组

XGROUP [CREATE key groupname id-or- ] [ S E T I D k e y g r o u p n a m e i d − o r − ] [SETID key groupname id-or- ][SETIDkeygroupnameidor] [DESTROY key groupname] [DELCONSUMER key groupname consumername]

  • key:队列名称,如果不存在就创建
  • groupname:组名
  • $:表示从尾部开始消费,只接受新消息,当前 stream 消息会全部忽略

从头部开始消费

XGROUP CREATE mystream consumer-group-name 0-0

从尾部开始消费

XGROUP CREATE mystream consumer-group-name $

XREADGROUP GROUP

使用 XREADGROUP GROUP 读取消费组中的信息

XREADGROUP GROP group consumer [COUNT count] [BLOCK milliseconds] [NOACK] STREAMS key [key …] ID [ID …]

  • group:消费组名
  • consumer:消费者名
  • count:读取数量
  • milliseconds:阻塞毫秒数
  • key:队列名
  • ID:消息ID
XREADGROUP GROUP consumer-group-name consumer-name COUNT 1 STREAMS mystream >

XREADGROUP GROP group consumer [COUNT count] [BLOCK milliseconds] [NOACK] STREAMS key [key …] ID [ID …]

  • group:消费组名
  • consumer:消费者名
  • count:读取数量
  • milliseconds:阻塞毫秒数
  • key:队列名
  • ID:消息ID
XREADGROUP GROUP consumer-group-name consumer-name COUNT 1 STREAMS mystream >
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页