【高阶篇】3.3 Redis之底层数据结构简单动态字符串(SDS)详解

已于 2023-11-16 17:17:04 修改
阅读量2.1k 收藏 8
点赞数 11
分类专栏： Redis从入门到精通2023版 文章标签： redis 数据结构 数据库 java
于 2023-06-08 10:11:29 首次发布
文章来源：作者冰点(icepip.blog.csdn.com)
本文链接：https://blog.csdn.net/wangshuai6707/article/details/131101404
版权

文章目录


redis高阶篇.jpg

👏 简介：大家好，我是冰点，从业11年，目前在物流独角兽企业从事技术管理和架构设计方面工作，之前的把博客作为技术流水账在写。现在准备把多年的积累整理一下，成体系的分享给大家，也算是对多年开发生涯的总结。如果你在工作和学习中遇到问题也可反馈给我(iceicepip)， 路漫漫其修远兮，吾将上下而求索。
 
🏳️‍🌈2023计划：
             🚩1. 将多年来整理的Redis学习和实践笔记整理并发布成专栏。
             🚩2. 将最近2年在groovy实践应用上的沉淀的初稿，发布成书籍。
             🚩3. 将多年来整理的MySQL学习研究笔记整理并发布成专栏。
             🚩4. 根据技术交流群答疑的问题，整理成博客文章发布分享。

我陆续将我整理的Redis精选比较，分享给大家，今天分享的是Redis底层数据结构简单动态字符串（SDS）。我们从数据结构解析，包括Redis5和Redis6的SDS结构差异分析。这样设计的优势，如果有不对的地方，请大家指正。

Redis是一个快速、开源、内存数据库，它是一个基于键值对的存储系统，由Salvatore Sanfilippo开发。Redis支持多种数据结构，其中字符串（String）是最常用的一种数据结构之一。在Redis中，字符串是由简单动态字符串（SDS）实现的。本文将详细介绍SDS的内部实现原理、优势以及在Redis中的应用。图片来源网络
image.png
redis底层数据结构

1.原理解析

1.1.SDS的内部实现原理

image.png
redis6.x版本底层数据结构

1.1.1 Redis 6.0版本和Redis5.0对比

Redis 6.0版本中，对于SDS的底层数据结构进行了升级。除了原有的SDS类之外，还有四个新的类：sdshdr8、sdshdr16、sdshdr32、sdshdr64。这些类的命名与其中的成员变量类型相关，分别表示使用8位、16位、32位、64位的无符号整数存储字符串长度和容量。
image.png

1.1.2 redis6和redis5对比

Redis 6.0版本相比Redis 5.0版本在SDS底层数据结构上进行了一些改进和优化。Redis 6.0中的SDS仍然包含三个成员变量len、free和buf，但是buf不再是一个字符数组，而是一个unsigned char类型的数组。此外，在Redis 6.0中新增了四个SDS类：sdsHdr5、sdsHdr8、sdsHdr16和sdsHdr32。这四个类分别代表SDS字符串的头部数据结构，用于存储SDS字符串的长度和空闲空间，以及标记SDS字符串的类型。

Redis 6.0版本中的这些改进和优化可以提高SDS的效率和灵活性。通过使用unsigned char类型的数组来存储SDS字符串，可以更好地处理二进制数据和字符编码。而新增的四个SDS类可以更灵活地处理不同长度的SDS字符串，减少内存浪费。此外，为了提高效率，Redis 6.0版本中还对SDS的内存管理进行了优化，避免了频繁的内存分配和释放操作。

这样的设计可以根据实际情况选择更合适的底层数据结构，从而减少内存占用。例如，当存储的字符串长度较小时，可以选择使用sdshdr8或sdshdr16，而当存储的字符串长度较大时，则可以使用sdshdr32或sdshdr64

1.1.3 优势

上面我们已经解析了一下Redis5和Redis6的数据结构，我们可以总结归纳出SDS具有以下优点，以下这些优点，我也不再赘述。根据上面的解析我们很容易理解。

1.1.3.1. 动态扩容

SDS可以动态增加内存空间，避免了静态数组的大小限制。

1.1.3.2. 常数复杂度获取字符串长度

SDS中的len属性表示字符串长度，可以在常数时间内获取字符串长度。

1.1.3.3. 杜绝缓冲区溢出

SDS会检查内存是否足够，避免了缓冲区溢出的问题。

1.1.3.4. 减少修改字符串的内存重新分配次数

SDS采用惰性空间释放和空间预分配的策略，可以减少修改字符串的内存重新分配次数。

1.1.3.5. 二进制安全

SDS不以空字符串来判断字符串是否结束，而是以len属性表示的长度来判断字符串是否结束，所以支持存储任何二进制数据。
关于二进制安全我引用一个网友的图片更形象
C语言是判断空字符（‘\0’）去判断一个字符的长度的，但是有很多数据结构经常会穿插空字符在中间，比如图片，音频，视频，压缩文件的二进制数据，就比如下面这个单词，只能识别前面的 不能识别后面的字符。
image.png

Redis就不存在这个问题了，他不是保存了字符串的长度嘛，他不判断空字符，只判断长度，所以redis也经常被拿来保存各种二进制数据

1.1.3.6. 兼容部分C字符串函数

SDS可以重用C语言库<string.h>中的一部分函数。
SDS的实现位于Redis的源代码中的src/sds.h和src/sds.c中。SDS的总体结构包括头部sdshdr和存储用户数据的buf，其中用户数据后总跟着一个\0。SDS有四种不同的头部，分别是sdshdr8、sdshdr16、sdshdr32和sdshdr64，其中len属性表示字符串长度，buf[]数组用来保存字符串的每个元素，alloc属性表示整个SDS除过头部与末尾的\0，剩余的字节数，flags始终为一字节，以低三位标识着头部的类型，高5位未使用。

下面是SDS的头部结构体示例：

struct sdshdr {
    uint32_t len;    //字符串长度
    uint32_t alloc;  //字符串空间大小
    unsigned char flags; //表示sds的类型（8位）
    char buf[];  //用于存储字符串数据
};

image.png

SDS的头部结构体中，len和alloc是SDS的关键属性，它们分别表示字符串的长度和分配的空间大小。对于一个SDS字符串，其实际长度可以通过len属性来获取，而其当前分配的空间大小则可以通过alloc属性来获取。
image.png

SDS支持的最大长度是2^32字节，因此len和alloc都是32位无符号整数。SDS的len属性不仅用于表示字符串的长度，还用于记录buf数组中已使用的字节数，因此SDS的实际长度可能比len属性的值要小。

SDS的优点在于它可以避免C字符串常见的问题，比如缓冲区溢出和内存泄露等。SDS的常数复杂度获取字符串长度和杜绝缓冲区溢出可以避免使用strlen和strcat函数时的一些问题。同时，SDS的空间预分配和惰性空间释放两种策略可以减少修改字符串的内存重新分配次数。SDS也是二进制安全的，因为它不是以空字符串来判断字符串是否结束，而是以len属性表示的长度来判断字符串是否结束。SDS还兼容部分C字符串函数，可以重用C语言库<string.h>中的一部分函数。

2. SDS在Redis中的应用

SDS是Redis中最常用的底层数据结构之一，它被广泛应用于各种场景中，比如缓存、计数器、分布式锁等。在Redis中，SDS不仅作为字符串类型的基础实现，还被应用于其他数据结构中。

2.1. 字符串类型

在Redis中，字符串类型是最常用的数据结构之一，它可以用于存储各种类型的数据，比如整数、浮点数、二进制数据等。字符串类型中的字符串值是由SDS实现的，它可以动态扩容，避免了静态数组的大小限制。SDS还可以减少修改字符串的内存重新分配次数，从而提高了性能。

SDS在Redis中的应用非常广泛，它作为字符串类型的基础实现，还被应用于其他数据结构中。SDS的优点在于它可以避免C字符串常见的问题，比如缓冲区溢出和内存泄露等。SDS的常数复杂度获取字符串长度和杜绝缓冲区溢出可以避免使用strlen和strcat函数时的一些问题。同时，SDS的空间预分配和惰性空间释放两种策略可以减少修改字符串的内存重新分配次数。SDS也是二进制安全的，因为它不是以空字符串来判断字符串是否结束，而是以len属性表示的长度来判断字符串是否结束。SDS还兼容部分C字符串函数，可以重用C语言库<string.h>中的一部分函数。

2.2.杜绝缓冲区溢出

字符串拼接是我们经常做的操作，在C和Redis中一样，也是很常见的操作，但是问题就来了，C是不记录字符串长度的，一旦我们调用了拼接的函数，如果没有提前计算好内存，是会产生缓存区溢出的。

比如本来字符串长这样：
image.png

现在需要在后面拼接 ，但是没计算好内存，结果就可能这样了：

image.png

3. SDS的优化技巧

在使用SDS时，还有一些优化技巧可以提高性能：

3.1. 尽量避免频繁修改SDS的值

SDS的修改操作会引起内存重新分配，因此频繁修改SDS的值会导致性能下降。如果需要频繁修改SDS的值，可以考虑使用缓存等技术来避免频繁的修改操作。

3.2. 使用API操作SDS

SDS提供了一些API操作，比如sdscat、sdscmp、sdsnew等，使用这些API操作可以避免直接操作SDS的buf数组，从而提高代码的可读性和可维护性。

3.3. 避免使用大量的短字符串

空间预分配策略会分配一定的额外空间，用于存储未来可能的扩展。如果使用大量的短字符串，会浪费SDS的空间预分配策略，因为大量的短字符串可能占用预分配的空间，而未来可能需要更多的空间来存储更长的字符串。因此，如果需要存储大量的短字符串，可以考虑使用其他数据结构，比如哈希表或者列表。

3.4. 避免使用过大的SDS

最大长度是2^32字节，因此如果需要存储非常大的字符串，可以考虑使用其他的存储方式，比如文件系统或者分布式存储系统。

3.5. 使用SDS的优点

SDS的优点在于它可以避免C字符串常见的问题，比如缓冲区溢出和内存泄露等。SDS的常数复杂度获取字符串长度和杜绝缓冲区溢出可以避免使用strlen和strcat函数时的一些问题。同时，SDS的空间预分配和惰性空间释放两种策略可以减少修改字符串的内存重新分配次数。SDS也是二进制安全的，因为它不是以空字符串来判断字符串是否结束，而是以len属性表示的长度来判断字符串是否结束。SDS还兼容部分C字符串函数，可以重用C语言库<string.h>中的一部分函数。

4.总结

SDS是Redis中的一种字符串类型，它是一种二进制安全的字符串，由简单动态字符串（SDS）实现。SDS支持多种数据结构，其中字符串（String）是最常用的一种数据结构之一。SDS的优点在于它可以避免C字符串常见的问题，比如缓冲区溢出和内存泄露等。SDS的常数复杂度获取字符串长度和杜绝缓冲区溢出可以避免使用strlen和strcat函数时的一些问题。同时，SDS的空间预分配和惰性空间释放两种策略可以减少修改字符串的内存重新分配次数。SDS也是二进制安全的，因为它不是以空字符串来判断字符串是否结束，而是以len属性表示的长度来判断字符串是否结束。SDS还兼容部分C字符串函数，可以重用C语言库<string.h>中的一部分函数。

在Redis中，SDS不仅作为字符串类型的基础实现，还被应用于其他数据结构中。使用SDS时，可以避免频繁修改SDS的值，使用API操作SDS，避免使用大量的短字符串，避免使用过大的SDS，充分利用SDS的优点，提高代码的性能和可读性。

5. 系列文章

《Redis从入门到精通【高阶篇】之底层数据结构压缩列表(ZipList)详解》
在这里插入图片描述
参考资料：

  1. 陈雷老师的《Redis5设计与源码分析 》
  2. Redis 6.0源码
冰点.
关注
专栏目录
Redis源码剖析--动态字符串SDS
ZeeCoder
12-09 2183
请持续关注我的个人博客：https://zcheng.ren Redis没有使用C语言的字符串结构，而是自己设计了一个简单的动态字符串结构sds。它的特点是：可动态扩展内存、二进制安全和与传统的C语言字符串类型兼容。下面就从源码的角度来分析一下Redis中sds的实现。（sds的源码实现主要在sds.c和sds.h两个文件中）# sds数据结构定义 在sds.h文件中，我们可以找到sds的数据结构定
简单动态字符串（SDS）
slxixiha的博客
08-18 381
由于传统的C语言字符串存在以下缺陷： 1. O(N)复杂度获取字符串长度； 2. 拷贝等操作可能导致缓存区溢出； 3. 字符串分配的空间没有余量，需要频繁重新分配内存； 4. 不适合存储二进制数据； #### SDS的定义 redis自定义了一组SDS的字符串类型，用来存放**需要修改**的字符串对象。 ``` // sds.h /* Note: sdshdr5 is never used, we just access the flags byte directly. * However is her.
1.Redis内部数据结构-Sds
写后端的小学生
06-07 3058
注意:该Redis系列为读《Redis设计与实现》一书和实践的学习过程的记录      Sds(Simple Dynamic String)，即简单动态字符串，是Redis底层所使用的字符串表示， 几乎所有的 Redis 模块中都用了 sds；Sds的用途       Sds 在 Redis 中的主要作用有以下两个：             1.实现字符串对象(StringObject)；    ...
Redis源码（1）SDS和IntSet数据类型
最新发布
weixin_43823462的博客
07-14 1210
Redis源码之SDS和IntSet数据类型
【Redis笔记】简单动态字符串（SDS）
暮色年华的博客
04-17 590
简单动态字符串：simple dynamic string ，SDS，用作Redis默认字符串表示。 在Redis中，C字符串只会作为字符串字面量用在一些无须对字符串值进行修改的地方。 在Redis需要的不仅仅是一个字符串字面量，而是一个可以被修改的字符串值时，Redis就会使用SDS. 例： set msg "hello,world"; Redis将在数据库中创建一个新的键值对：键是一个字符创对象，底层实现是一个保存着字符串"msg"的SDS。键值对也是一个字符串对象，底层实现是一个保存着字符
简单动态字符串SDS
后悔当初
05-25 279
Redis SDS简单字符串(全网最详细)
Redis--简单动态字符串（SDS）
daylight_1的专栏
04-18 1056
1.简介 Redis没有适用传统农的C语言的字符串表示(以空字符结尾的字符数组)，而是自己设计了一个名为简单动态字符串(SDS)的的抽象类型。 在Redis中，C字符串只会作为字符串字面量，用在一些无须对字符串值进行修改的地方，比如打印日志。 在Redis中，包含字符串的键值对在底层都是由SDS实现的。 2.SDS的定义 结构定义如下： struct sdshdr{ //记录buf数组中已使用字节的数量，等于SDS所保存字符串的长度 int len; //记录buf数组中未使用字节的数量
redis内部数据结构之SDS简单动态字符串详解
12-16
Redis中的SDS（Simple Dynamic String，简单动态字符串）是一种高效且安全的字符串数据结构，它被设计用来替代C语言中的传统字符串（以空字符'\0'结尾的字符数组）。SDS不仅提供了对字符串操作的便利性，还解决了...
Redis第一讲 Redis数据结构之简单动态字符串（SDS）
程序员路同学
06-25 1223
Redis第一讲 Redis五种基本类型的底层数据结构 SDS 相比C 字符串的优势： 整个Redis主体数据结构图如下： List是一个有序(按加入的时序排序)的数据结构，Redis采用quicklist（双端链表） 和 ziplist 作为List的底层实现。可以通过设置每个ziplist的最大容量，quicklist的数据压缩范围，提升数据存取效率 Hash 数据结构底层实现为一个字
详解redis数据结构之sds
01-19
详解redis数据结构之sds  字符串在redis中使用非常广泛，在redis中，所有的数据都保存在字典（Map）中，而字典的键就是字符串类型，并且对于很大一部分字典值数据也是又字符串组成的。以下是sds的具体存储结构： ...
Redis之简单动态字符串（SDS）
weixin_48163548的博客
06-24 197
Redis没有直接使用C语言传统的字符串表示，而是自己构建一种名为简单动态字符串（SDS）的抽象类型，并将SDS用作redis的默认字符串表示。 在Redis的数据库中，包含字符串值得键值对在底层都是又SDS实现的。 比如 reids> SET msg “hello world” ok 在客户端中执行这样的命令，redis将在数据库中创建一个新的键值对，其中： 键值对的键是一个字符串对象，对象的底层实现是一个保存着字符串“msg”的SDS。 键值对的值也是一个字符串对象，对象的底层实现是一个保存着字符
Redis中的SDS
legendaryhaha的博客
02-20 649
SDS简单动态字符串结构 redis操作数据为什么会快？在回答这个问题时，我们一般会说redis对数据的操作是基于缓存的，速度自然而然的快。二来redis在数据操作时通过单线程模型避免了线程切换产生的开销。除此之外，redis采用的合理的数据结构也是redis操作数据快的原因之一。 简单动态字符串 Redis支持字符串类型的操作，其底层实现却不是采用C语言表示字符串的方式，而是采用SDS（simple dynamic string，简单动态字符串） 抽象类型进行表示。 结构 在redis5.0的sds.
Redis之SDS
sssxlxwbwz的博客
02-22 993
1、概述 Redis没有直接使用C语言传统的字符串表示（以空字符结尾的字符数组，以下简称C字符串），而是自己构建了一种名为简单动态字符串（simple dynamic string，SDS）的抽象类型，并将SDS用作Redis的默认字符串表示。 当Redis需要的不仅仅是一个字符串字面量，而是一个可以被修改的字符串值时，Redis就会使用SDS来表示字符串值。 2、SDS结构 struct sdshdr { // 记录buf数组中已使用字节的数量 /...
redis 中的sds
jason的笔记
02-02 734
redis中使用sds来表示一个字符串，同时兼用c语言中的字符串，c语言中的字符串在redis中一般用作字符常量 其实现在E:\redis-3.0-annotated-unstable\redis-3.0-annotated-unstable\src\sds.h 和sds.c中 sds 的数据结构如下： struct sdshdr { // buf数组中已经占用的长度，这等于字符
Redis浅谈 SDS
weixin_45506590的博客
08-02 367
SDS SDS本质上就是char *，但是因为有了表头sdshdr结构的存在，所以SDS比传统C字符串在某些方面更加优秀。 一般传统C字符串是有结束符的，遇到’\0‘则认为已经到达末尾，忽略结尾以后的所有字符。 **SDS表头的buf被定义为字节数组，判断是否到达字符串结尾的依据是表头的len成员。**因此获取字符串长度时间复杂度为O(1)。 总结下sds的特点是：可动态扩展内存、二进制安全、快速遍历字符串 和与传统的C语言字符串类型兼容。 SDS结构体： struct __attribute__ ((__
Redis数据结构之——sds
weixin_46935110的博客
11-15 5016
Redis数据结构之——sds
Redis中SDS简单动态字符串
FighterLiu的专栏
08-07 869
Redis的底层是使用c语言写的。但是Redis没有直接使用C语言传统的字符串表示（以空字符串结尾的数组，以下简称C字符串），而是自己构建了一种名为简单动态字符串（simple dynamic string，SDS）的类型，并将SDS用作Redis默认字符串表示。...
（一）Redis数据结构之SDS
Q蛋黄酱的专栏
07-03 1308
1 前言 在开始学习Redis时，除了知道Redis的用处之外，对于Redis的底层数据结构进行深入了解，显得尤为重要。 如果不了解底层数据结构，也将错失体验Redis高性能的美妙之处。 2 什么是SDS SDS即简单动态字符串（Simple Dynamic String），是redis自定义的，用于存储字符串的数据结构。这里需要补充说明，C中的字符串只是以字...
redis底层数据结构用sds，请展示一下sds数据结构
08-31
SDS（简单动态字符串）是Redis底层数据结构之一。它采用一段连续的内存空间来存储字符串，并具有一定的灵活性和扩展性。下面是一个展示SDS数据结构的例子： ``` typedef struct sdshdr { int len; // 已占用空间的长度 int free; // 剩余可用空间的长度 char buf[]; // 字符数组 } sdshdr; ``` 在这个例子中，我们可以看到SDS结构包含了`len`表示已占用空间的长度，`free`表示剩余可用空间的长度，以及`buf[]`表示字符数组。举一个实际的例子，如果我们要存储字符串"Redis"，SDS会为其分配5字节的已使用长度，并为其分配5字节的可用空间长度。 与C字符串相比，SDS具有一些区别。C字符串的长度需要通过遍历整个字符串才能获得，而SDS可以直接通过`len`属性来获取字符串的长度。此外，C字符串是以空字符'\0'作为字符串的结束标志，而SDS通过`len`属性来确定字符串的长度，不依赖空字符。 在Redis中，C字符串主要应用在不需要对字符串值进行修改的地方，比如打印日志。而SDS主要应用在需要修改字符串值的地方，比如Redis的数据库中，包含字符串值的键值对在底层都是使用SDS来实现的。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Redis底层数据结构——SDS](https://blog.csdn.net/weixin_39939725/article/details/110912176)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冰点.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值