在上篇文章中,我们学习了Redis教程——数据类型(基数统计、地理空间、位域),这篇文章我们学习Redis教程——数据类型(流)。
Stream是Redis5.0版本新增加的数据结构,主要用于消息队列,Redis本身是有一个发布订阅(pub/sub)来实现消息队列的功能,但消息无法持久化,当出现网络断开、Redis宕机等,消息就会被丢弃。
Redis Stream提供了消息的持久化、主备复制功能、支持自动生成全局唯一ID、支持ack确认消息的模式,支持消费组模式等,可以让任何客户端访问任何时刻的数据,并且能记住每个客户端访问的位置,让消息队列更加的稳定可靠。
一个消息链表,将所有加入的消息都串起来,每个消息都有一个唯一的ID和其内容,其逻辑结构如下图所示:
其中:
-
Message Content:消息内容;
-
Consumer group:消费组,通过xgroup create命令创建,同一个消费组可以有多个消费者;
-
Last_delivered_id:游标,每个消费组会有个游标last_delivered_id,任意一个消费者读取了消息都会使游标last_delivered_id往前移动;
-
Consumer:消费者,消费组中的消费者;
-
Pending_ids:消费者会有一个状态变量,用于记录被当前消费者已读取但未ack的消息ID,如果客户端没有ack,这个变量里面的消息ID会越来越多,当某个消息被ack后就会开始减少。其作用是确保客户端至少消费了消息一次,而不会在网络传输的中途丢失。
基本命令
使用xadd命令添加消息到队列末尾,其语法格式如下:
xadd 消息队列 * 键值对 [键值对...]
注意:
-
消息ID必须要比上个ID大;
-
默认用星号表示自动生成规则,其生成的ID由:毫秒时间戳-从0开始的自增数字;
示例代码如下:
xadd stream1 * id 12 cname bqkl
xadd stream1 * id 13 cname zs
xadd stream1 * k1 v1
xadd stream1 * s1 v1
获取
使用xrange、xrevrange、xlen、xread命令获取存在的消息列表信息,其语法格式如下:
xrange 消息队列 - + count 获取的个数 # 获取存在的消息列表,按id从小到大读取
xrevrange 消息队列 + - count 获取的个数 # 获取存在的消息列表,按id从大到小读取
xlen 消息队列 # 获取消息队列的长度
示例代码如下:
xrange stream1 - + count 2
xrevrange stream1 + - count 3
xlen stream1
运行结果如下:
使用xread命令获取指定ID范围的消息,其语法格式如下:
xread [count 最多返回数量] [block 0/1] streadms 消息队列[消息队列...] ID [ID ...] # 获取指定ID范围的消息
其中:block表示是否已阻塞的方式读取消息,默认是不阻塞,如果设置为0,表示永久阻塞。
非阻塞示例代码如下:
## 非阻塞
xread count 2 streams stream1 $
xread count 3 streams stream1 0-0
其中:
-
$:特殊ID,表示读取当前最大ID的作为最后一个ID,该条命令返回nil;
-
0-0 :表示从最小ID开始获取消息队列的消息,当不指定count时,返回所有消息,使用0、00、000和0-0效果一样;
运行结果如下:
阻塞示例代码如下:
## 阻塞
xread count 1 block 0 streams stream1 $
# 新开窗口执行该命令
xadd stream1 * k2 v2
首先在原窗口执行xread命令获取比最大ID还大的ID消息就会形成阻塞状态,当新开的窗口添加最新的消息,原窗口就获取到比之前更大的ID消息,从而结束阻塞。
运行结果如下:
截取
使用xtrim命令对stream的长度进行截取,超过长度会进行截取,其语法格式如下:
xtrim 消息队列 maxlen 最大长度 # 超过长度时,最小的id会被抛弃
xtrim 消息队列 minid 消息ID # 抛弃比该消息ID小的消息
示例代码如下:
xtrim stream1 maxlen 3
xrange stream1 - +
xtrim stream1 minid 1713450977185-0
xrange stream1 - +
运行结果如下:
删除
使用xdel命令删除指定ID的消息,其语法格式如下:
xdel 消息队列 消息ID
示例代码如下:
xdel stream1 id
xrange stream1 - +
运行结果如下:
消费者组
创建
使用xgroup create命令创建消费者组,其语法格式如下:
xgroup create 消息队列 分组名1 $/0/id
注意:创建消费者组时必须指定ID。
其中:
-
$表示从Stream尾部开始消费;
-
0表示从Stream头部开始消费;
示例代码如下:
xgroup create stream1 groupA 0
xgroup create stream1 groupB 0
消费
使用xreadgroup group命令读取消息队列的消息,其语法格式如下:
xreadgroup group 消费组 消费者 count 读取的最大消息数量 streams 消息队列 >
其中:>表示从第一条尚未被消费的消息开始读取。
示例代码如下:
xreadgroup group groupA consumer1 count 3 streams stream1 > # 消费组A消费者1消费三条消息
xreadgroup group groupA consumer2 streams stream1 > # 消费组A消费者2消费剩下的所有消息
xreadgroup group groupB consumer1 streams stream1 > # 消费组B消费者1消费所有消息
xreadgroup group groupB consumer2 streams stream1 > # 消费组B消费者2消费剩下的所有消息
运行结果如下:
消息一旦被消费组的消费者读取后,就不能被同组的其他消费者读取但可以被其他消费组的消费者读取,所以第二条命令返回两条,第四条命令返回空。
未确认
在上面的消费中,都是已读取但未确认的消息,使用xpending命令查询每个消费组内所有消费者已读取未确认的消息,其语法格式如下:
xpending 消息队列 消费组 # 返回所有消费组内所有消费者已读取未确认的消息
xpending 消息队列 消费组 - + 返回已读消息条数 消费者 # 返回指定消费组的消费者读取消息的条数
示例代码如下:
xpending stream1 groupA
xpending stream1 groupA - + 10 consumer1
确认消息
使用xack命令将已读未确认的消息确认,其语法格式如下:
xack 消息队列 消费者 消息ID
示例代码如下:
xack stream1 groupA 1713452758406-0
如下图所示:
好了,Redis教程——数据类型(流)就讲到这里了,下篇文章我们学习Redis教程——持久化(RDB)。
公众号:白巧克力LIN
该公众号发布Python、数据库、Linux、Flask、Django、自动化测试、Git、算法、前端、服务器等相关文章!
- END -