Redis内存优化——Stream类型介绍及底层原理详解

Mr___Ray

已于 2023-05-23 19:08:02 修改

阅读量1.2k

点赞数 1

分类专栏：互联网技术架构文章标签： redis 数据库 java .netcore 云原生

于 2023-05-17 10:17:22 首次发布

本文链接：https://blog.csdn.net/Star_Inori/article/details/130719617

版权

互联网技术架构专栏收录该内容

23 篇文章 2 订阅

订阅专栏

文章目录

前言
Stream
总结
系列文章目录

前言

Redis是一个开源的高性能键值数据库，它支持多种数据结构，如字符串、列表、集合、散列、有序集合等。在Redis 5.0版本中，新增了一种数据结构：Stream，它主要用于实现消息队列（MQ，Message Queue）

消息队列是一种异步通信机制，它允许多个生产者和消费者之间发送和接收消息，而不需要直接相互联系。消息队列有很多优点，如解耦、缓冲、重试、负载均衡、广播等。消息队列也有很多应用场景，如日志收集、任务调度、数据同步、事件驱动等。

Stream

概述

stream 是一个类似于日志的数据结构，它可以记录一系列的键值对，每个键值对都有一个唯一的 ID。一个 stream 类型的键最多可以存储 2^64 - 1 个键值对。

stream 类型的底层实现是 rax（基数树），它是一种压缩的前缀树结构，它将所有的键值对按照 ID 的字典序存储在一个树形结构中。rax 可以快速地定位、插入、删除任意位置的键值对

应用场景

stream 类型的应用场景主要是实现事件驱动的架构，比如：

消息队列，利用 xadd 和 xread 命令实现生产者消费者模式。
操作日志，利用 xadd 和 xrange 命令实现操作记录和回放。
数据同步，利用 xadd 和 xreadgroup 命令实现多个消费者组之间的数据同步。

底层原理

Rax Tree

rax tree是一种基于基数树（radix tree）的变体，也叫做压缩前缀树（compressed prefix tree）,它被应用于redis stream中，用来存储streamID，其数据结构为

typedef struct raxNode {
    uint32_t iskey:1;     /* Does this node contain a key? */
    uint32_t isnull:1;    /* Associated value is NULL (don't store it). */
    uint32_t iscompr:1;   /* 前缀是否压缩 */
    uint32_t size:29;     /* Number of children, or compressed string len. */
    unsigned char data[];
} raxNode;

iskey：是否包含key
isnull：是否存储value值
iscompr：前缀是否压缩。决定了size存储的是什么和data的数据结构
size：
- iscompr=0：节点为非压缩节点，size是孩子节点的数量
- iscompr=1：节点为压缩节点，size是已压缩的字符串长度
data：
- iscompr=0：节点为非压缩节点，数据格式为[header strlen=0][abc][a-ptr][b-ptr][c-ptr](value-ptr?)。其有size个字符，
- iscompr=1：节点为压缩节点，数据格式为[header strlen=3][xyz][z-ptr](value-ptr?)。