Redis中的流数据结构
流(stream)是Redis5.0版本新添加的数据结构。在以往版本中,为了使用redis实现消息队列这一常见应用,一般使用列表、有序结合和发布订阅三种功能。但是这些实现存在着各自的弊端:
- 列表实现的消息队列虽然可以快速地将消息追加到列表地末尾,但因为列表为线性结构,所以程序想要查找包含指定数据地元素,或者进行范围查找,就需要遍历整个列表。
- 有序集合虽然可以有效地进行范围查找,但缺少列表和发布于订阅提供地阻塞弹出命令,使得无法使用有序集合去实现可阻塞消息弹出操作。
- 发布订阅虽然拥有将消息传递给多个客户端地能力,并且也拥有相应地阻塞弹出原语,但发布订阅地“发后即忘”策略导致离线地客户端丢失消息。无法实现可靠地消息队列。
- 三种数据结构都有一个问题,就是它们地元素只能是单个值,如果想要这些数据结构实现消息队列传递多项信息,就必须使用JSON之类地序列化格式将多项信息打包存储到单个元素上。
Stream流是上述三种数据结构地综合体,具备它们各自地有点以及特点,是使用Redis实现消息队列地最佳选择。流是一个包含零个或任意多个流元素地有序队列,队列中每个元素都包含一个ID和任意多个键值对,这些元素会根据ID地大小在流中有序进行排列。
常见命令
XADD 追加新元素到流的末尾
XADD命令,将一个带有指定ID以及包含指定键值对的元素追加到流的末尾。如果给定的流不存在,Redis会创建一个空白的流,然后将给定的元素追加到流中。
XADD stream id field value [field value ...]
流中每个元素可以包含一个或任意多个键值对,并且同一个流中的不同元素可以包含不同数量的键值对,比如其中一个元素可以包含3个键值对、另一个有5个键值对。
流元素会以有序方式存储用户给定的键值对:用户创建元素时以什么顺序给定键值对,它们被取出的时候就是什么顺序。
流元素的ID
流元素的ID由 毫秒时间 和顺序编号 两部分组成,其中使用UNIX时间戳表示的毫秒实标识元素和时间的关系,而以0为起始值的顺序编号用于区分同一时间内产生的多个不同元素。毫秒
时间和顺序编号都使用64位非负整数表示,所以整个流ID的总长为128位。使用"-"进行分割。
xadd stream 11100000000000-12345 k1 v1
#返回值为刚才指定的ID
在输入流ID的时候,除了可以给出带有毫秒时间和顺序编号的完整流ID之外,还可以给出只包含毫秒时间的不完整流ID:在这种情况下,Redis会自动将ID的顺序编号部分设置为0.
xadd s1 1000000000000 k1 v1
# 返回1000000000000-0
xadd s1 2000000000000 k1 v1
# 返回2000000000000-0
流元素ID的限制
同一流中的每个元素ID都用于指定特定的一个元素,所以这些ID必须唯一。尝试添加一个也存在ID的元素会返回下面这个错误。
ERR The ID specified in XADD is equal or smaller than the target stream top item
除了不允许使用相同ID之外,Redis还要求新元素的ID必须比流中所有已有元素的ID都要大。Redis会记住每个流已有元素的最大ID,并在用户尝试向流里面添加新的元素的时候,使用新元素的ID与流目前最大的ID进行对比,对比规则如下:
- 如果新ID的毫秒时间部分比最大的毫秒时间部分要大,那么允许添加新元素。
- 如果新ID的毫秒时间部分与最大ID的毫秒时间部分相同,那么对比两个ID的顺序部分,如果新ID的顺序编号部分比最大ID的顺序编号部分要大,那么允许添加新元素。
- 不满足上述两种规则,添加操作会被拒绝,返回错误。
自动生成ID
由于流元素ID的严格特性,Redis为了便于实现添加操作,XADD命令的id参数设定了一个特殊值"“,当用户将符号”"用作id参数的值时,Redis自动会新添加的元素生成一个可用的新ID。
自动生成的新ID会将Redis所在的宿主机器当前的毫秒格式的UNIX时间戳用作ID的毫秒时间,并根据当前已有ID的最大顺序编号来设置新ID的顺序编号部分。
由于自动生成ID时间戳与宿主机当前时间戳有关, 防止宿主机出现时钟错误导致问题出现,redis的宿主机器当前时间戳比流中已使用最大ID的毫秒时间小,那么redis将使用该ID的毫秒时间来作为新的ID的毫秒时间。
限制流的长度
XADD命令提供MAXLEN选项,让用户可以在添加新元素的同时删除旧的元素,限制流的长度
XADD STREAM [MAXLEN len] id field valeu [field value]
按照先进先出规则移除超出长度限制的元素。
其它信息
时间复杂度为O(log(N)),N为流目前包含的元素数量。
XTRIM对流进行修建
通过XTRIM命令直接将流修剪至指定长度
XTRIM stream MAXLEN len
同样使用先进先出规则进行元素丢弃。
其它信息
复杂度为O(log(N)+ M),N为执行修剪操作前流包含的元素数量,M为被移除元素的数量。
XDEL:移除指定元素
XDEL命令接受一个流以及任意多个元素ID作为输入,并从流中移除ID对应的元素,返回被移除元素的数量作为结果。
XDEL stream [id id ... id]
# 例如
xdel s1 2000000000000-0
# 返回1
其它信息
复杂度:O(log(N)* M),N为流所包含的元素数量,M被移除元素的数量。
XLEN获取流包含的元素数量
通过对流指定XLEN命令,获取流目前包含的元素数量。
XLEN stream
如果给定的流没有任务元素,或者流不存在,返回0作为结果。
其它信息
复杂度:O(1)
XRANGE、XREVRANGE:访问流中元素
**流本质是一个有序序列。**使用有序序列获取序列中的各项元素是一种非常常见的操作。XRANGE命令可以遍历或者迭代方式访问流中单个或者任意多个元素。可以使用可选参数限制返回数量。
XRANGE stream start-id end-id [count n]
获取指定ID的单个元素
XRANGE命令将起始ID和结束ID设置为同一个流元素ID,这样XRANGE命令就会从流中获取并返回ID指定的流元素。
xrange s1 1000000000000-0 1000000000000-0
#返回值
1) 1) "1000000000000-0" #流元素ID
2) 1) "k1" # 流元素包含的键
2) "v1" # 流元素包含的值
如果指定ID不存在,会返回一个空列表作为结果。
获取指定ID范围内的多个元素
只需要将较小的元素ID设置为命令的起始ID,并将较大的元素ID设置为命令的结束ID,那么XRANGE命令就会获取从起始ID到结束ID范围内的所有元素。
XRANGE s1 1000000000000 4000000000000
Xrange命令的起始ID和结束ID除了可以是流元素的ID之外,还可以是特殊值-和+,前者用于表示流的最小ID,后者是流的最大ID。通过-和+可以获取流中所有元素。
对流中元素进行迭代
使用- + 和可选参数进行流的迭代。
xrange stream - + count 1
#加入返回id为 1000000000000-1
xrange stream 1000000000000-2 + count 1
# 以此类推
逆序访问流中元素
XREVRANGE命令是XRANGE命令的逆序版本,除了按照ID从大到小访问,其它都一样。
其它信息
复杂度O(log(N)+M),N为流中包含的元素数量,M为命令范围的元素数量。
XREAD:以阻塞或非阻塞方式获取流元素
XREAD [BLOCK ms] [COUTN N] STREAMS stream1 stream2 ... id1 id2 ...
XREAD只能从一个方向对流进行迭代,但是他能提供更简单的迭代API,支持同时对多个流进行迭代,并且能够以阻塞和非阻塞两种方式执行。
获取大于指定ID的元素
可以通过COUNT选项限制每个流最多可以返回的元素
XREAD COUTN 3 Streams s1 s2 1000000000000-0 2000000000-0
阻塞
通过使用BLOCK选项并给定一个毫秒精度的超时时间作为参数,用于可以以阻塞的方式执行XREAD命令
XREAD [BLOCK ms] [COUNT n] STREAMS streams1 streams2 ... id1 id2 ...
BLOCK选项值可以是任何大于等于0的数值,给定0表示阻塞直至出现可返回的元素位置
如果在用户给定的流中,有一个或多个流拥有符合条件、可供读取的元素,那么XREAD命令将直接返回这些元素而不会进入阻塞状态。都不符合条件才会进入阻塞状态。
只获取新出现的元素
Redis为XREAD命令提供了特殊ID参数$。XREAD命令只会获取给定流在命令流执行之后新出现的元素
XREAD BLOCK 1000000 STREAMS bs1 $
其它信息
时间复杂度:获取每个流的元素 O(log (N) + M),其中N为流包含的元素数量,M为被获取的元素数量。因此对于用户给定的I个流,获取流元素的总复杂度为O((log (N) + M)*I)。