Redis中String类型的内存空间开销问题

最新推荐文章于 2024-06-04 09:51:42 发布
最新推荐文章于 2024-06-04 09:51:42 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： Redis技术学习 文章标签： redis 字符串 指针 列表
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39074984/article/details/114029203
版权
文章探讨了Redis中String类型保存数据时的内存开销问题，解释了元数据和不同编码方式（int, embstr, raw）的内存占用。在图片ID与存储ID场景下，String类型导致了内存浪费。通过二级编码方法利用Hash类型实现单值键值对的存储，降低了内存消耗。文章还讨论了压缩列表和Hash类型转换阈值，以优化内存使用。" 125346359,11486467,生产者消费者问题解析与实现,"['分布式', '开发语言', '服务器', '操作系统', '并发编程']
摘要由CSDN通过智能技术生成

案例：现需要开发一个图片存储系统，要求这个系统能快速记录图片ID和图片在存储系统中保存的ID，同时，还要能够更具图片ID快速查找到图片存储对象ID。因图片数量巨大，所以选用10位数来表示图片ID和土拍你存储对象ID。例如：

photo_id: 1101000051
photo_obj_id: 3301000051

图片ID和图片存储对象ID正好一一对应，是典型的“键 - 单值”模式。所谓单值，就是指键值对中的值就是一个值，而不是一个集合，这和String类型提供的“一个键对应一个值的数据”的保存形式刚好契合。而且，String类型可以保存二进制字节流，只要把数据转换成二进制字节数组，就可以保存了。

所以，第一个方案就是用String保存数据，把图片ID和图片存储对象ID分别作为键值对的key和value来保存，其中图片存储对象ID用了String类型。

保存了1亿张照片后，大约用了6.4GB的内存。但是，随着图片数据量的增加，Redis内存使用量也在增加，结果就遇到了大内存Redis实例因生成RDB而响应慢的问题。很显然，String类型并不是一种好的选择。

String类型是适用于所有场合的，它有一个明显的短板，就是它保存数据时所消耗的内存空间较多。而集合类型有非常节省空间的底层实现结构，但是，集合类型保存的数据模式，是一个键值对应一系列值，并不适合直接保存单值的键值对。

使用二级编码的方法，可以实现用集合类型保存单值键值对，Redis实例的内存空间消耗明显下降了。

为什么String类型内存开销大？

除了记录实际数据，String类型还需

最低0.47元/天 解锁文章
无绪听雨眠
关注
专栏目录
redis之string介绍
02-07
在Redis中，一个`String`可以是任何数据类型，比如简单的字符串、数字甚至是序列化后的复杂数据结构。 #### Redis String的内部实现 Redis中的字符串数据类型主要由`redisObject`（简称为`robj`）结构体表示。`...
算法---------空间复杂度
m0_64365419的博客
08-08 285
空间复杂度的定义和计算方法；函数递归调用带来的内存开销的计算方法；
Redis篇——String类型在Redis中底层存储数据结构，全方位分析底层存储原理！
我热爱学习，也乐于分享。无论是科技前沿的洞见，还是生活中的小技巧，我都会在这里与你分享。我相信，知识就是力量，而分享则能让这份力量得到更好的传递。
06-04 1079
String是Redis中最基本的数据类型，它可以存储任意类型的数据，比如文本、数字、图片或者序列化的对象等等。一个String类型的键最大可以存储512MB的数据。
Redis五大基本数据结构（原理）
TiankkTT的博客
05-28 1684
对⼀个内部表示成long型的string执行append, setbit, getrange这些命令，针对的仍然是string的值（即⼗进制表示的字符串），而不是针对内部表⽰的long型进⾏操作。因此，在这些命令的实现中，会把long型先转成字符串再进行相应的操作。String的内部存储结构⼀般是sds（Simple Dynamic String，可以动态扩展内存），但是如果⼀个String类型的value的值是数字，那么Redis内部会把它转成long类型来存储，从⽽减少内存的使用。
redis存储对象_Redis之String的数据结构
weixin_39629679的博客
12-08 858
今天来聊个关于redis的话题，redis的数据结构，我之前的一篇文章，专门写过Redis的数据类型，及其简单的应用场景。今天这篇文章来专门聊一下Redis的数据结构，它的底层是如何存储的。Redis的string类型String概述Coding的哔哔叨叨String结构可以存储字符串或者各种类型的二进制数据。能表达3种类型：字符串、整数和浮点数。根据场景相互间自动转型，并且根据需要选取...
Redis - String内存开销问题以及基本/扩展数据类型的使用
Zong_0915的博客
08-05 1117
中类型保存值的时候，有两个选择：可见，它本身并不傻，如果在类型中，存储的值是一个整数，它会自动进行编码。而保存的数据中若包含了字符，即采用简单动态字符串结构体来保存。，即。低版本的结构如图（版本以下）： 总共有三个部分：对于的类型而言，还涉及到结构。该结构体主要用于记录一些元数据记录（最后一次的访问时间，被引用的次数等等）包含了8个字节大小的元数据和8个字节大小的指针，共16字节。同时该结构体还指向实际的数据。如图： 意思就是，每当往中插入一个类型的键值对后，就会构建出对于的结构（若是字符类型），以及一
如何在Redis中存储文章内容
最新发布
06-06
Redis中最基础的数据类型就是String，它可以存储简单的字符串，包括文章内容。每篇文章可以作为一个键值对，键为文章ID，值为文章内容。例如，键`article:12345`对应的值就是文章的HTML或Markdown格式内容。这种...
redis数据类型及应用场景知识点总结
12-14
Redis是一种高性能的键值存储系统，它支持五种主要的数据类型：String、Hash、List、Set和Sorted Set。这些数据类型的设计使得Redis可以应用于多种场景，具有很高的灵活性和效率。 **1. String（字符串）** String...
Redis中3种特殊的数据类型（BitMap、Geo和HyperLogLog）
09-09
在Redis中，除了常见的基础数据类型如字符串(String)、哈希(Hash)、列表(List)、集合(Set)和有序集合(Sorted Set)外，还有几种特殊的数据类型，这些类型在特定的应用场景下具有独特的优点。本文将详细介绍三种特殊的...
数据结构（1.2.3） -- 算法的空间复杂度
m0_46218511的博客
08-03 260
一、什么是算法的空间复杂度 空间复杂度：评价算法运行时的空间开销（内存开销）的一个指标；即，空间开销（内存开销）与问题规模n之间的关系 二、如何计算 普通程序 ①找到所占空间大小与问题规模相关的变量 ②分析所占空间x与问题规模n的关系 x=f(n) ③x的数量级O(x) 就是算法空间复杂度 S(n) 递归程序 ①找到递归调用的深度x与问题规模n的关系x=f(n) ②x的数量级O(x) 就是算法空间复杂度S(n) 注：有的算法各层函数所需存储空间不同，分析方法略有不同 三、小练习1：逐步递
Redis数据结构之String
chengxuyuan_2012的专栏
04-27 2056
String是Redis中最常见的数据存储类型，它存储可以是数字、字符串或二进制数据。由于 Redis 的字符串是二进制安全的，因此可以用来存储图片、视频等二进制数据。其基本编码方式是有OBJ_ENCODING_INT、OBJ_ENCODING_EMBSTR、OBJ_ENCODING_RAW基于简单动态字符串SDS（simple dynamic string）实现，存储上限为512MB。
程序时间空间开销测试
chuifuhuo6864的博客
07-29 396
1、空间开销测试：下面的程序测试各种C++结构及其分配内存的空间开销。 //spacemod.cpp: 测试一系列C++结构的空间开销 #include <iostream> using namespace std; //空间开销测试的宏版本：先给出结构T的size...
【Redis】字符串内部结构
Franco的博客
03-11 423
Redis 的字符串叫着「SDS」，也就是Simple Dynamic String。它的结构是一个带长度信息的字节数组。 struct SDS&lt;T&gt; { T capacity; // 数组容量 T len; // 数组长度 byte flags; // 特殊标识位，不理睬它 byte[] content; // 数组内容 } content里面存储了真正的字...
深入了解redis的string常用操作与存储机制
lcarus008的博客
05-14 1492
string类型 ​ 图片ID和图片存储对象ID都是10位数，我们可以用两个8字节的Long类型表示这两个ID。因为8字节的Long类型最大可以表示2的64次方的数值，所以肯定可以表示10位数。但是，为什么String类型却用了64字节呢？ 其实，除了记录实际数据，String类型还需要额外的内存空间记录数据长度、空间使用等信息，这些信息也叫作元数据。当实际保存的数据较小时，元数据的空间开销就显得比较大了，有点“喧宾夺主”的意思。 string如何保存数据： 当你保存64位有符号整数时，String类型会把
Redis数据存储结构之String
weixin_34198762的博客
06-04 188
前言： 　　在Redis使用中，我们最常使用的操作是set key value，或 get key value 。这里面包含了redis最基本的数据类型：String，字符串类型是redis中最基本的类型，它能存储任何形式的字符串，包括二进制数据（JSON，Image...）。 大家有没有思考过redis是通过何种数据结构来存储数据的呢？今天来带大家一探究竟。 源码打开方式： 　　打开我们...
Redis入门完整教程：内存消耗
Lee达森的博客
07-06 1072
理解Redis内存，首先需要掌握Redis内存消耗在哪些方面。有些内存消 耗是必不可少的，而有些可以通过参数调整和合理使用来规避内存浪费。内 存消耗可以分为进程自身消耗和子进程消耗。 8.1.1　内存使用统计 首先需要了解Redis自身使用内存的统计数据，可通过执行info memory 命令获取内存相关指标。读懂每个指标有助于分析Redis内存使用情况，表 8-1列举出内存统计指标和对应解释。 需要重点关注的指标有：used_memory_rss和used_memory以及它们的比 值mem_frag
Redis String类型内部数据结构
凯凯王的技术生涯
08-04 768
Redis的字符串存储结构叫SDS(Simple Dynamic String)，结构如下 struct SDS<T> { T capacity; // 数组容量 T len; // 数组长度 byte flags; // 特殊标识位，不理睬它 byte[] content; // 数组内容 }
int Integer String 性能开销
weixin_43495390的博客
09-23 416
针对int integer string的值比较堆内存的消耗,做一篇总结 public static void StringTest(){ /** * 获取时间 */ Calendar Cld = Calendar.getInstance(); int YY = Cld.get(Calendar.YEAR) ; int MM = Cld.get(Calendar.MONTH)+1; i
Redis中的String类型：SDS与RedisObject解析
Redis不是简单地使用C语言中的char[]数组来存储字符串，而是采用了自定义的数据结构——SDS（Simple Dynamic String），以解决C语言字符串的一些固有问题。 首先，SDS结构体提供了对字符串更友好的管理和操作。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无绪听雨眠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值