SDS空间分配策略

最新推荐文章于 2023-02-22 10:11:05 发布
最新推荐文章于 2023-02-22 10:11:05 发布
阅读量523 收藏 1
点赞数
文章标签： python
原文链接：https://my.oschina.net/u/2462104/blog/1456841
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1.SDS空间预分配策略

对于空间小于1M来说,分配空间为原有总长度+同样长度+1byte(B,字节).

比如原长度为8的字符串,新增5个长度后,总共为13长度,则预分配13+13+1=27字节(额外一字节用于保存空字符串)

对于大于1M来说,分配空间为原有总长度+1MB+1byte

比如增加完字符串后长度为15MB,则为15MB+1MB+1byte

2.惰性空间释放

对于需要缩短字符串的情景,即需要释放空间,SDS将需要移除的字符串移除,但是多余出来的的空间不释放,而是保留下来,记录在free里,这样扩展就有多余空间来进行,当然有真正释放空间的方法.

比如"XYXYabcXY\0" 移除所有的X和Y

则len变为3 free变为6

转载于:https://my.oschina.net/u/2462104/blog/1456841

weixin_34279246
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
说说redis中简单动态字符串（SDS）的空间预分配实现
我的博客
01-12 1236
文章目录目的一、简单动态字符串（SDS）1.1 定义1.1 优点二、空间预分配2.1 原则2.2 java代码实现三 、小结 目的 编写本文章的目的是为了理解Redis底层实现的重要数据结构：简单动态字符串，并实际动手通过java代码实现简单动态字符串的空间预分配机制，让我们更加生动地理解底层技术。 一、简单动态字符串（SDS） 1.1 定义 简单动态字符串是Redis底层结构中非常关键的一类数据结构，定义如下： struct sdshdr { // 字符串数组 char[] buf
详解redis数据结构之sds
09-09
在内存管理方面，sds采用了空间预分配和惰性空间释放策略。空间预分配意味着当sds需要扩展时，它会预留超出当前需求的额外空间，以减少未来修改字符串时频繁的内存分配。例如，当需要添加一定长度的字符串时，如果新...
java基础知识（String 用法）
qq_34665521的博客
09-14 262
java基础知识153、String1 基础2 常见方法 153、String 1 基础 1，字符串是一个特殊对象 2，字符串一旦被初始化，就不可以被改变 3， String str = "string";//常用，str是一个类 类型对象，“string”是一个对象 str = "abc"; //str 的地址变化了，但是“string”的内容没有变 4, String str = new String("string"); //有，不多见 5， string s1 = "abc"; String s
sds(简单动态字符串) 内存预分配优化策略
weixin_30825581的博客
04-21 444
在眼下版本号的 Redis 中，SDS_MAX_PREALLOC的值为1024*1024， 也就是说。 当大小小于1MB的字符串运行追加操作时，sdsMakeRoomFor就为它们分配多于所需大小一倍的空间； 当字符串的大小大于1MB。 那么sdsMakeRoomFor就为它们额外多分配1MB的空间。 运行过APPEND命令的...
redis源码之sds扩容
欢谷悠扬
05-06 1136
redis之sds扩容处理
redis源码阅读—SDS空间预分配策略和惰性删除策略
L__xing的博客
12-10 1158
备注：文中redis源码版本为redis3.0 该段摘自于《redis设计与实现》 空间预分配用于优化 SDS 的字符串增长操作： 当 SDS 的 API 对一个 SDS 进行修改， 并且需要对 SDS 进行空间扩展的时候， 程序不仅会为 SDS 分配修改所必须要的空间， 还会为 SDS 分配额外的未使用空间。 其中， 额外分配的未使用空间数量由以下公式决定： 如果对 SDS 进行修改之后， SDS 的长度（也即是len属性的值）将小于1MB， 那么程序分配和len属性同样大小的未使用...
sds对象应用与开发指南-nologo
04-13
总结来说，SDS EOS对象存储提供了全面的开发工具和API，使得开发者能够便捷地实现对象存储的接入和管理，同时，通过HTTP基础和性能优化策略，确保了服务的安全性和效率。对于任何需要处理大量非结构化数据的应用，...
redis源码阅读笔记(1)——sds
08-06
1. **预分配**：当增加sds的长度时，除了分配必要的空间外，还会额外分配一部分空间，以减少后续再次扩展时的内存分配次数。这通过`free`字段来实现，表示当前未使用的空间。 2. **快速长度计算**：由于每个sds都有...
Redis的字符串的速度与安全.docx
07-10
- SDS 实现了**空间预分配**策略，当扩展 SDS 时，Redis 不仅分配所需的额外空间，还会预留一部分（free 空间），降低连续扩展操作的内存分配次数。 - 同时，SDS 采用**惰性空间释放**，在缩短字符串后不会立即...
软件定义存储培训PPT
07-16
SDS强调的是存储逻辑与物理硬件的解耦，通过软件层实现对存储资源的集中管理和智能分配。这使得企业可以根据业务需求动态调整存储策略，不再受限于特定的硬件平台。此外，SDS还具备自动化、虚拟化和云就绪的特性，...
Redis 简单动态字符串（SDS）
qq_47892703的博客
11-09 334
SDS 遵循 C 字符串以空字符结尾的惯例，保存空字符的 1 字节空间不计算在 SDS 的 len 属性里面（额外分配）。 添加空字符到字符串结尾的操作由 SDS 函数自动完成，对于使用者来说完全透明。 设置和更新 SDS 长度的工作由 SDS 的 API 在执行时自动完成，所以无需手动进行任何手动修改长度的工作。 一、SDS 的空间分配策略 当 API 需要对 SDS 进行修改时，API 会先检查 SDS 的空间是否满足需求，如果不够，API 会自动将SDS 的空间扩展，然后执行修改操作
惰性空间分配 lazy space allocation
zhanghaodx082的专栏
09-25 2792
Lazy allocation simply means not allocating a resource until it is actually needed.
redis源码之：字符串SDS
qq_22351805的博客
02-22 345
redis源码解读，sds创建、sds扩缩容，释放
Redis深入理解-数据结构篇（1）-简单动态字符串SDS
王洋的专栏
10-03 4745
Redis没有直接使用C语言中的字符串，而是自己构建了SDS这样的一种简单动态字符串，并且将他作为Redis中字符串的默认的表示，个人认为，Redis并未完全抛弃C语言字符串，只不过是在C语言字符串的基础上，通过封装其他的属性，构造出一个更加高效的字符串的封装结构，在早些的版本中记录了其长度（实际使用了多少）、剩余空间、以及字符数组，最新的版本3.2.4中，已经对SDS做了一定的改动记录了长度、分配内存大小（除去‘\0’）、标志位（低三位表示类型，其余五位未使用）、以及字符数组。
Redis 底层中的 SDS 以及 对象系统简介
cosmos_lee
06-13 965
1.SDS 没有使用C语言传统的字符串表示，而是自己构建了一种名为简单动态字符串（simple dynamic string，SDS） 的抽象类型，并将SDS用作Redis的默认字符串表示。在Redis里，包含字符串值得键值对在底层都是由DS来实现的。 SDS还被用作缓冲区（buffer）：AOF模块中的AOF缓冲区，以及客户端状态中的输入缓冲区，都是由SDS实现的。 SDS定义： ...
Redis6.0 sds string--初始化和扩容--详解
qfzhangwei的专栏
10-27 519
1 直接上源码（内部有注释） /* Modify an sds string in-place to make it empty (zero length). * However all the existing buffer is not discarded but set as free space * so that next append operations will not require allocations up to the * number of bytes previo.
redis sds的申请扩容源码
不说话装高手
12-28 1531
sds是redis中简单的字符串实现 sdsnewlen()方法可以用来申请sds。 sds sdsnewlen(const void *init, size_t initlen); 第一个参数是sds中字符串的内容,initlen则是第一次初始化的长度。   首先会根据第一次初始化所需要的长度根据其所占位数通过sdsReqType()得到内存的结构体。 static inline...
关于redis中SDS的细节
potatotamato的博客
02-18 470
一、问题的产生 为什么redis速度快？因为他们有独特的数据结构，如String类型的SDS，那么SDS到底是什么样子的，这么设计有什么好处？ 二、SDS结构 SDS是Simple Dynamic String的缩写。 struct sdshdr { // 记录buf中已使用的字节数，等于SDS中保存字符串的长度 unsigned int len; // 记录buf中未使用的字节数 unsigned int free; // 用于保存字符串 char buf[]; } buf的尾部自动追加一个
redis sds空间预分配
最新发布
07-27
Redis中的SDS（Simple Dynamic Strings）使用空间预分配策略来优化字符串的增长操作。当需要对SDS进行修改并且需要扩展SDS的空间时，Redis会为SDS分配修改所需的空间，并额外分配一些未使用的空间。这样可以减少内存重分配的次数，提高性能。\[1\] SDS的空间分配策略可以杜绝缓冲区溢出的可能性。在执行修改操作之前，API会先检查SDS的空间是否满足修改所需的需求，如果不满足，则会自动将SDS的空间扩展至所需的大小，然后再执行实际的修改操作，并同时分配未使用的空间。这样可以确保SDS不会出现缓冲区溢出问题。\[2\] 总结来说，Redis的SDS使用空间预分配策略来优化字符串的增长操作，并通过检查和自动扩展空间来避免缓冲区溢出问题。这些策略可以提高Redis的性能和安全性。 #### 引用[.reference_title] - *1* [Redis之SDS](https://blog.csdn.net/sssxlxwbwz/article/details/123064278)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Redis底层数据结构-SDS](https://blog.csdn.net/weixin_45275107/article/details/126037496)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [redis SDS介绍](https://blog.csdn.net/Mr_Z2017512/article/details/122232918)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值