redis6.0源码动态字符串SDS

最新推荐文章于 2022-08-06 14:35:40 发布
最新推荐文章于 2022-08-06 14:35:40 发布
阅读量365 收藏
点赞数
分类专栏： redis 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37731056/article/details/105809123
版权

redis中没有使用c语言的字符串，而是自己构建了SDS(simple dynamic string),解析为简单动态字符串。c语言字符串表示方式不能满足redis对字符串在安全性、效率以及功能方面的要求。
在redis数据库里Redis的键值对、缓冲区(buffer):AOF模块中的AOF缓冲区，以及客户端状态的输入缓冲区，都是SDS实现的。

sds与c字符串的异同：

C字符串SDS
获取字符串长度的复杂度为O(N)获取字符串长度的复杂度为O(1)
API是不安全的，可能会造成缓冲区溢出(手动分配)API是安全的，不会造成缓冲区溢出(预分配)
修改字符串长度N次必然需要执行N次内存重分配修改字符串长度N次最多需要N次内存重分配(预分配和惰性空间释放)
只能保存文本数据可以保存文本或者二进制数据
可以使用所有<string.h>库中的函数可以使用一部分<string.h>库中的函数

SDS保留c字符串以空字符的惯例，同时SDS实现两种优化策略就是空间预分配和惰性空间释放。

动态字符串

redis的sds结构实现字符串的基础。具体的文件有两个sds.c sds.h
sds定义

typedef char *sds;

sds字符串根据字符串的长度，划分了五种结构体sdshdr5、sdshdr8、sdshdr16、sdshdr32、sdshdr64,分别对应的类型为SDS_TYPE_5、SDS_TYPE_8、SDS_TYPE_16、SDS_TYPE_32、SDS_TYPE_64

每个sds 所能存取的最大字符串长度为：

  • sdshdr5最大为32(2^5)
  • sdshdr8最大为0xff(2^8-1)
  • sdshdr16最大为0xffff(2^16-1)
  • sdshdr32最大为0xffffffff(2^32-1)
  • sdshdr64最大为(2^64-1)

sds结构体
sds每个类型的结构体大体相同,除了sdshdr5是没有len、alloc的，其他的结构体就只是len和alloc定义数据类型上的区别。
在这里插入图片描述

  • 当字符串长度为0的时候，通常被认为要进行append操作，所以sds类型为SDS_TYPE_8
  • 比如SDS_TYPE_8长度是2^8，因为sds和c字符串一样末尾有空格’\0’占位标记结束符，区间范围左侧又是闭区间,所以区间范围为[32,255)
struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; /* used */
    uint8_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
  • attribute ((packed))告诉编译分配的是紧凑内存，而不是字节对齐的方式。
  • len表示字符串已使用的长度,buf长度
  • alloc表示字符串的容量
  • flags表示字符串类型标记SDS_TYPE_5、SDS_TYPE_8、SDS_TYPE_16、SDS_TYPE_32、SDS_TYPE_64
  • buf[]表示柔性数组。在分配内存的时候会指向字符串的内容

创建sds

sds sdsnewlen(const void *init, size_t initlen) {
    void *sh;
    sds s;
    //根据大小获取SDS的类型
    char type = sdsReqType(initlen);
    
    if (type == SDS_TYPE_5 && initlen == 0) type = SDS_TYPE_8;
    int hdrlen = sdsHdrSize(type);
    unsigned char *fp; 
	//分配内存
    sh = s_malloc(hdrlen+initlen+1);
    if (sh == NULL) return NULL;
    if (!init)
        memset(sh, 0, hdrlen+initlen+1);
    s = (char*)sh+hdrlen;
    fp = ((unsigned char*)s)-1;
    //根据类型初始化头部、长度、容量、标记
    switch(type) {
        case SDS_TYPE_5: {
            *fp = type | (initlen << SDS_TYPE_BITS);
            break;
        }
        case SDS_TYPE_8: {
            SDS_HDR_VAR(8,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
        case SDS_TYPE_16: {
            SDS_HDR_VAR(16,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
        case SDS_TYPE_32: {
            SDS_HDR_VAR(32,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
        case SDS_TYPE_64: {
            SDS_HDR_VAR(64,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
    }
    if (initlen && init)
        memcpy(s, init, initlen);//复制数据
    s[initlen] = '\0';//字符串最后填充空格
    return s;
}
  1. 根据初始化长度获取SDS的类型。如果初始化长度initlen为0，通常被认为要进行append操作，直接设置SDS类型为SDS_TYPE_8。
  2. 分配所需内存，内存需要空间为头部长度+buf的长度+字符串最后空格’\0’，头部表示sds初始化需要的空间。
  3. 根据sds类型去初始化头部、长度、容量、标记
  4. 复制数据

空间预分配

空间预分配用于优化SDS字符串增长的操作，如果redis执行追加操作append,那么在执行命令之前，程序不仅会为SDS分配必须的空间，还会为SDS分配额外的空间。

//将给定c字符串拼接到SDS字符串尾部
sds sdscat(sds s, const char *t) {
    return sdscatlen(s, t, strlen(t));
}
//将给定SDS字符串拼接到SDS字符串尾部
sds sdscatsds(sds s, const sds t) {
    return sdscatlen(s, t, sdslen(t));
}

sds sdscatlen(sds s, const void *t, size_t len) {
    size_t curlen = sdslen(s);

    s = sdsMakeRoomFor(s,len);
    if (s == NULL) return NULL;
    memcpy(s+curlen, t, len);
    sdssetlen(s, curlen+len);
    s[curlen+len] = '\0';
    return s;
}

sdscat、sdscatsds是sds字符串的拼接函数，在拼接之前会检查是否需要扩容，如果需要扩容，则还会预分配空间，具体函数sdsMakeRoomFor。

sds sdsMakeRoomFor(sds s, size_t addlen) {
	 void *sh, *newsh;
	 //获取sds目前空余的空间
    size_t avail = sdsavail(s);
    size_t len, newlen;
    char type, oldtype = s[-1] & SDS_TYPE_MASK;
    int hdrlen;

    //空余空间足够，无需扩展，直接返回
    if (avail >= addlen) return s;

    len = sdslen(s);
    sh = (char*)s-sdsHdrSize(oldtype);
    newlen = (len+addlen);
    //如果新需要的buf长度小于SDS_MAX_PREALLOC
    //分配2倍于所需空间长度
    //否则分配所需空间长度加上SDS_MAX_PREALLOC的空间长度
    if (newlen < SDS_MAX_PREALLOC)
        newlen *= 2;
    else
        newlen += SDS_MAX_PREALLOC;
	//重新获取sds类型
    type = sdsReqType(newlen);
    if (type == SDS_TYPE_5) type = SDS_TYPE_8;

    hdrlen = sdsHdrSize(type);
    if (oldtype==type) {
    	//sds类型不变，重新分配内存
        newsh = s_realloc(sh, hdrlen+newlen+1);
        if (newsh == NULL) return NULL;
        s = (char*)newsh+hdrlen;
    } else {
    	//sds类型发生改变，重新申请新内存
        newsh = s_malloc(hdrlen+newlen+1);
        if (newsh == NULL) return NULL;
        //复制数据
        memcpy((char*)newsh+hdrlen, s, len+1);
        //释放旧数据内存
        s_free(sh);
        s = (char*)newsh+hdrlen;
        s[-1] = type;
        //更新sds已使用空间长度
        sdssetlen(s, len);
    }
    //更新sds容量
    sdssetalloc(s, newlen);
    return s;
}
  1. 检查剩余的空间是否充足，如果已经充足则无需扩展，直接返回。
  2. 修改后如果新的len长度小于SDS_MAX_PREALLOC,SDS_MAX_PREALLOC的长度为1024*1024(1M)，这时候会预分配额外的和新的len一样长度的空间。
  3. 修改后如果新的len长度大于等于SDS_MAX_PREALLOC,那么预分配额外的SDS_MAX_PREALLOC长度的空间。
  4. 重新获取sds的类型
  5. 扩容之后，如果sds的类型未改变,重新分配内存
  6. 扩容之后，如果sds类型发生改变,申请新的内存并复制旧数据到新的内存，然后释放旧数据。

相对的有增加空间就有多余空间释放的函数,sdsRemoveFreeSpace会释放多余的空间。

sds sdsRemoveFreeSpace(sds s) {
   void *sh, *newsh;
    char type, oldtype = s[-1] & SDS_TYPE_MASK;
    int hdrlen, oldhdrlen = sdsHdrSize(oldtype);
    size_t len = sdslen(s);
    //获取sds目前空余的空间
    size_t avail = sdsavail(s);
    sh = (char*)s-oldhdrlen;

    if (avail == 0) return s;

	//重新获取sds类型
    type = sdsReqType(len);
    hdrlen = sdsHdrSize(type);
	
    if (oldtype==type || type > SDS_TYPE_8) {
    	//sds类型不变，重新分配内存
        newsh = s_realloc(sh, oldhdrlen+len+1);
        if (newsh == NULL) return NULL;
        s = (char*)newsh+oldhdrlen;
    } else {
    	//sds类型发生改变，重新申请新内存
        newsh = s_malloc(hdrlen+len+1);
        if (newsh == NULL) return NULL;
        memcpy((char*)newsh+hdrlen, s, len+1);
        //释放旧数据内存
        s_free(sh);
        s = (char*)newsh+hdrlen;
        s[-1] = type;
        //更新sds已使用空间长度
        sdssetlen(s, len);
    }
    //更新sds容量
    sdssetalloc(s, len);
    return s;
}
  1. 重新获取最新的sds类型，此时为了节省空间可以获得更小的sds的数据类型
  2. 如果sds的类型未改变,重新分配内存
  3. 如果sds类型发生改变,申请新的内存并复制旧数据到新的内存，然后释放旧数据。

惰性空间释放

惰性空间释放用于优化SDS字符串缩短的操作，如果redis执行截断操作trim,那么在执行命令之前，程序不会立即重分配SDS空间来释放多余的空间，而是用len记录已使用的空间，剩余空间供下次重用。

sds sdstrim(sds s, const char *cset) {
    char *start, *end, *sp, *ep;
    size_t len;

    sp = start = s;
    ep = end = s+sdslen(s)-1;
    while(sp <= end && strchr(cset, *sp)) sp++;
    while(ep > sp && strchr(cset, *ep)) ep--;
    len = (sp > ep) ? 0 : ((ep-sp)+1);
    if (s != sp) memmove(s, sp, len);
    s[len] = '\0';
    sdssetlen(s,len);
    return s;
}

API

函数作用
sdsnew创建一个包含给定c字符串的SDS
sdsHdrSize获取header(初始化结构体)需要空间大小
sdsReqType获取sds类型
sdsavail返回SDS的未使用空间的字节数
sdslen返回SDS的已使用空间的字节数
sdscat将给定c字符串拼接到SDS字符串尾部
sdscatsds将给定SDS字符串拼接到SDS字符串尾部
sdsfree释放给定的SDS

更多讲解,欢迎关注我的github:
go成神之路

地鼠工程师
关注
专栏目录
Redis 6.0 源码阅读笔记(5) -- List 数据类型源码分析
alpha_love的博客
05-19 296
使用GDB跟踪Redis源码list push过程 127.0.0.1:6379> LPUSH runoobkey redis runoobkey key redis value 当你push多个时：127.0.0.1:6379> LPUSH runoobkey redis2 redis3 存储的结构 redis 对于 List 的存储共有 3 种存储形式，其中 OBJ_ENCODING_LINKEDLIST已经彻底废弃不再讨论，其它两种存储形式的内
redis6.0源码阅读 主从模式之数据同步
a158372582的博客
07-13 1158
redis6.0源码阅读 主从模式之数据同步给新观众老爷的开场主从模式-数据同步的原因1. 数据热备份2. 读写分离主从模式-数据同步的场景从节点数据与主节点数据不一致1. 给主节点新加入从节点 - 全量同步2. 从节点与主节点数据同步中断主从模式-数据同步的实现给主节点新加入从节点同步流程1. 定时删除2. 惰性删除3. 定期删除4. 大key删除redis内存淘汰策略redis内存淘汰策略有哪些？为什么redis默认不进行内存淘汰redis的LRU内存淘汰策略严格的LRU会有什么问题redis中的近似随
redrock：Redis可以使用HDD或SSD之类的存储
02-04
RedRock主页 介绍 RedRock是和的组合。 为什么 Redis是一个很棒的基于内存的NoSQL。 但是内存的成本要高于磁盘。 我们希望有什么 与Redis一样强大 扩展到磁盘（HDD或SSD） 随着SSD变得越来越便宜并具有良好的性能，这就是为什么我Enigneer Stone对RedRock进行编码。 我希望一块石头能打两只鸟。 注意：我只为项目编写代码几个月，并且只使用我的下班时间。 十年还没有一个项目成熟。 希望您更多地使用它，并在Github上留下反馈。 谢谢。 关键设计 RedRock将所有Redis密钥存储在内存中，并且只能存储密钥。 如果内存不足以容纳所有键/值
深挖 Redis 6.0 源码—— SDS
傲雪滨锋
08-20 661
本文精选自 Doocs 开源社区旗下“源码猎人”项目，作者杨立滨。项目将会持续更新，欢迎 Star 关注。项目地址：https://github.com/doocs/source-cod...
【Redis源码】Redis 6.0 字符串 SDS 源码分析
长路漫漫的歇脚处
07-31 724
Redis 6.0 字符串 SDS 源码分析
文章一 Redis设计与实现研读:Redis自定义SDS结构体存储String类型的字符串
xiongxianze的博客
08-30 473
一丶简单动态字符串 Redis 没有直接使用 C 语言传统的字符串表示（以空字符结尾的字符数组，以下简称 C 字符串）， 而是自己构建了一种名为简单动态字符串（simple dynamic string，SDS）的抽象类型， 并将 SDS 用作 Redis 的默认字符串表示。 在 Redis 里面， C 字符串只会作为字符串字面量（string literal）， 用在一些无须对字符串值进行修...
【Redis源码】Redis 6.0 字典扩容与渐进式 Rehash 源码分析
长路漫漫的歇脚处
07-19 1474
Redis 6.0 的字典扩容与渐进式 Rehash 源码分析
深挖 Redis 6.0 源码—SDS.docx
06-27
Redis中的SDS（Simple Dynamic Strings，简单动态字符串）是一种核心数据结构，用于存储字符串和整数，它解决了C语言中字符串处理的二进制安全问题。在C语言中，字符串通常由字符数组和终止符'\0'组成，这使得包含'\...
Redis6.0-SourceCodeNote:Redis6.0源码阅读笔记-redis source code
03-25
Redis6.0-SourceCodeNote ... SDS（​​简单动态字符串），源文件为sdsalloc.h，sds.h，sds.c 链表，源文件为adlist.h，adlist.c 字典，源文件为dict.h，dict.c 跳跃表，源文件为server.h，t_zset.c
Redis 6.0 源码阅读笔记(7) -- ZSet 数据类型源码分析
alpha_love的博客
05-09 377
1. 存储结构 在 有序集合对象 ZSet 的介绍中已经提到 ZSet 集合的底层存储结构主要有两种，其结构示例如下： OBJ_ENCODING_ZIPLIST 当 ziplist 作为 zset 的底层存储结构时，每个集合元素使用两个紧挨在一起的压缩列表节点来保存，第一个节点保存元素值，第二个元素保存元素的分值，而且分值小的靠近表头，大的靠近表尾 OBJ_ENCODING_SKIPLIST 底层实现是跳跃表结合字典。每个跳跃表节点...
最新版redis源码4.0.9带注释
05-21
Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘持久化（persistence）， 并通过 Redis哨兵（Sentinel）和自动 分区（Cluster）提供高可用性（high availability）。
Redis之SDS数据结构
四问四不知的博客
08-06 825
简单动态字符串SDS（Simple Dynamic String）
Redis底层数据结构之SDS（simple dynamic string）
wuye_lh的博客
06-29 333
最近在找工作，一直问底层实现，接下来记录一下redis的底层实现。今天说下简单动态字符串，也就是SDS。 SDS是redis的核心数据。虽然简单，但特别重要。首先redis五种常用数据结构的Key值都是用SDS存储的，而不是简单的一个C语言字符串，下面看一下这个SDS是什么样子的。 1.SDS数据结构 struct sdshdr{ //字符串长度 int len; //buf数组中未使用的字节数量 int free; //字节数组，用于保存字符串 char buf[];..
redis源码解析（一）动态字符串sds结构体
ty的博客
09-26 696
1. 简介   Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。它通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。   由于该库代码优美，实现巧妙，值得学习，因...
redis数据结构之sds详解
爱宝贝丶的博客
02-13 551
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> ...
一文带你快速搞懂动态字符串SDS
路漫漫其修远兮，吾将上下而求索。
06-02 2716
目录 redis源码分析系列文章 前言 API使用 embstr和raw的区别 SDSHdr的定义 SDS具体逻辑图 SDS的优势 更快速的获取字符串长度 数据安全，不会截断 SDS关键代码分析 获取常见值（抽象出常见方法） 创建对象 删除 添加字符（扩容）重点！！！ 总结 参考资料 redis源码分析系列文章 [Redis源码系列]在Liunx安装和常见API 为什么要从Redis源码分析 前言 上篇我们已经了解了Redis是什么，在Linux上如何安装，常见..
[redis源码注释]-简述
second60的博客
05-10 447
[redis源码注释]-简述second60 201805101 站在巨人的肩膀上有些人会问：学习一门技术最快的方法是什么？答案很简单：就是站在巨人的肩膀上，多看多多抄多练。第一：可以省去我们造轮子，四处碰壁的时间第二：可以学习巨人的精髓，使自已能力不断的提升第三：多抄，可以使自已写代码的风格像巨人一样，如火纯青 这篇文件不讲技术，纯属非技术分享哈~~ 学习源码和阅读别人的博客是比较好的方法，也是...
【Redis-6.0.8】数据结构之SDS-简单动态字符串
Edidaughter的博客
11-23 265
1.字符串 2.哈希 3.列表 4.集合 5.有序集合
redis6.0源码字典的实现
高思维深思考的博客
05-13 285
哈希表节点 typedef struct dictht { //哈希表数组 dictEntry **table; //哈希表大小 unsigned long size; unsigned long sizemask; unsigned long used; } dictht; 哈希表 typedef struct dictEntry { //键 void *key; //值 union { void *val;
Redis SDS：动态字符串详解与高效应用
Redis中的SDS（Simple Dynamic String）是一种内置的数据结构，用于高效地存储和管理字符串。SDS的设计旨在解决C语言传统字符串（如char*数组，以空字符'\0'结尾）在Redis中无法满足的安全性、效率和功能需求。SDS的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值