Redis源码学习简记（四）ziplist与zipmap压缩编码原理与个人理解

最新推荐文章于 2023-09-10 09:24:39 发布
最新推荐文章于 2023-09-10 09:24:39 发布
阅读量1.2k 收藏
点赞数
分类专栏： Reids源码学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30085733/article/details/79848555
版权
本文探讨Redis中的ziplist和zipmap压缩数据结构，它们旨在节省内存，利用位操作实现增删改查。ziplist通过prevlen、encoding等字段存储元素，而zipmap结构更简洁，两者在内存管理上都有独特之处。
摘要由CSDN通过智能技术生成

把两个放在一起说主要是两个都是为了内存的压缩，使得将所有的东西都放在了char*的数组中。根据自定义的一些编码规则，实现增删改查的操作。里面涉及大量的位操作，自定义的decode（解码）和encoding（编码）的操作。我觉把原理与数据结构理解一下就好，具体的位操作，实现起来有点复杂。为了压缩空间，redis把几乎每一bit的空间使用了。

ziplist数据结构

其本质是一个超长的字符串。

|  zlbytes  |  zltail  |  zllen  |  .................................|  zlend  |

先介绍基本结构。

zlbytes （4字节 32位）存储所有的字节数。使用四个字节存储 即32bits 是一个uint32_t 即最大值为4294967295

zltail （4 字节  32位） 存储尾元素距离起始元素的偏移值

zllen (2字节  16位) 存储list的元素个数

zlend (1字节 0xFF 即255  ) 由于255被使用了 后面都会以254 作为一个判断标

最低0.47元/天 解锁文章
A_Linux_Coder
关注
专栏目录
redis源码分析教程之压缩链表ziplist详解
09-09
在Java等编程语言中，若要与Redis进行交互，理解ziplist的工作原理有助于更好地利用Redis的特性，特别是在设计和优化数据结构时。例如，知道ziplist的限制条件（如单个entry的大小和整个ziplist的长度），可以帮助...
ZIP压缩算法详细分析及解压实例
YiRong
10-29 5936
少女系列：菅谷梨沙子写真。 查看大图 查看大图 查看大图 查看大图 查看大图 查看大图 查看大图 查看大图 查看大图 查看大图 查看大图 查
Redis的9种数据类型
热门推荐
hudeyong926的专栏
11-01 2万+
在具体描述这几种数据类型之前，我们先通过一张图了解下 Redis 内部内存管理中是如何描述这些不同数据类型的： 首先Redis内部使用一个redisObject对象来表示所有的key和value,redisObject最主要的信息如上图所示：type代表一个value对象具体是何种数据类型，encoding是不同数据类型在redis内部的存储方式，比如：type=string代表valu...
你真的懂Redis的5种基本数据结构吗？
Yuki1127918的博客
11-25 3594
一、简介 Redis中所有的的数据结构都是通过一个唯一的字符串key来获取相应的value数据。 Redis有5种基础数据结构，分别是： string（字符串） list（列表） hash（字典） set（集合） zset（有序集合） 其中list、set、hash、zset这四种数据结构是容器型数据结构，它们共享下面两条通用规则： create if not exists：容器不存在则创建 drop if no elements：如果容器中没有元素，则立即删除容器，释放内存 本文将详细讲述
Redis之Redis 6.0中Hash(ziplist)解读
最新发布
一个菜鸡的博客
09-10 571
​Redis中hash数据类型使用了两种编码格式:ziplist(压缩列表)、hashtable(哈希表) 在redis.conf配置文件中，有以下两个参数，意思为：当节点数量小于512并且字符串的长度小于等于64时，会使用ziplist编码。​ziplist 是一个经过特殊编码的双向链表，旨在提高内存效率。它存储字符串和整数值，其中整数被编码为实际整数而不是一系列字符。它允许在 O(1) 时间内在列表的任一侧进行推送和弹出操作。但是，由于每个操作都需要重新分配 ziplist 使用的内存。
redis hashmap
南熏门前一只喵
03-02 984
redis hashmap数据结构，使用散列来组织数据。对于一条有多个属性的数据可以通过hashmap来存储数据。 A hash with a few fields (where few means up to one hundred or so) is stored in a way that takes very little space, so you can store millions...
Redis源码解读与项目精品设计实战
07-28
整个课程不仅仅针对Redis的使用和操作，还深入源码层面，旨在帮助学员对Redis的内部实现机制有更深入的理解，从而能够设计出更高效、更稳定的系统架构。而James老师作为资深系统架构师、项目经理，具备丰富的Java...
ziplist--redis源码研究笔记-压缩列表ziplist1
08-04
Redis中的压缩列表`ziplist`是一种特殊的内存优化数据结构，主要设计用于存储简化的序列数据，如哈希表和有序集合。它通过紧凑的内存布局和指针位操作来节省内存，尤其适用于小数据量的场景。以下是关于`ziplist`的...
redis:redis源码分析与个人理解
03-23
数据结构的实现强调内存效率，因此与使用高级编程语言建模的相同数据结构相比，Redis内部的数据结构可能使用较少的内存。 Redis提供了许多自然可以在数据库中找到的功能，例如复制，持久性的可调级别，集群，高...
redis 源代码之数据结构(5)--ziplist实现
学习笔记
01-13 1041
上一篇分析了zipmap的源代码，zipmap在redis中比较鸡肋，实际上，在2.6版本中，并没有使用zipmap数据结构，zipmap可以用ziplist来进行替代。ziplist用字符串实现了双链表，非常节约内存，既可以存储字符串，也可以存储整型。对ziplist两端进行pop和push操作可以在O（1）时间内完成。但是，每次对ziplist的操作，可能会需要对list进行realloc，所
Redis的String，Hash与ziplist压缩列表数据结构（节省空间向）
skye_fly的博客
08-20 1627
一、String数据结构存放数据 1. String优点： String可以保存二进制字节流，任何数据转换成二进制字节流就可以用String来存储，比较万金油； 2. 缺点： String保存数据时占用的内存空间比其他数据结构更多（保存数据包含字符时底层使用SDS简单动态字符串）； 3. 为什么String类型会占用更多的空间 底层String类型的数据是怎么保存的： 一个字符型String占用空间 = SDS结构体占用空间 + RedisObject元数据区占用空间 + HashMap的entry结构体
Redis源码整理笔记：zipmap与个人理解
fengwuya的博客
01-09 370
    Redis的zipmap和传统的散列结构有所不同，只能通过逐个遍历的方式来查找给定节点，zipmap也更节省内存空间；zipmap是分配一段连续的内存空间，不适合存放大量的数据，Redis的哈希结构存放少量数据时使用zipmap以节省空间，当数量达到给定值时会转为哈希表来存储；zipmap的增删改都可能会涉及内存的重分配。 zipmap的结构 ...
Redis内部数据结构详解(4)——ziplist
weixin_33755554的博客
07-07 1154
本文是《Redis内部数据结构详解》系列的第四篇。在本文中，我们首先介绍一个新的Redis内部数据结构——ziplist，然后在文章后半部分我们会讨论一下在robj, dict和ziplist的基础上，Redis对外暴露的hash结构是怎样构建起来的。 我们在讨论中还会涉及到两个Redis配置（在redis.conf中的ADVANCED CONFIG部分）： hash-max-ziplist-e...
Redis源码分析（七）--- zipmap压缩图
走在前往架构师的路上
10-12 3609
如果有看过之前我分析的ziplist压缩列表的分析的话，理解这个我觉得不是什么特别的难题。ziplist压缩列表和zipmap都采用了动态分配字节的做法表示长度，比如通过固定的字节表示节省了不少的空间。同样带来的问题就是复杂的指针移动，和字符位置移动。但总的来说，一定是利大于弊了，要不然设计者也不会这么做。ziplist保存的使用一个列表，zipmap就保存的则是一个个键值对，通过key:valu
Redis - ziplist (压缩列表) 图文详解
一七令
05-30 1万+
List列表是简单的字符串列表，按照插入顺序排序，可以从头部或尾部向List列表添加元素。最大长度为2^32-1，也即每个列表支持超过40亿个元素。Redis的List类型有多种实现方式，由双向链表或压缩列表（v7.0由listpack替代）实现的。这篇文章就是介绍其中一种实现ziplist-压缩列表。ziplist为了节省内存，采用了紧凑的连续存储。所以在修改操作下并不能像一般的链表那么容易，需要从新分配新的内存，然后复制到新的空间。httpshttps。............
Redis底层数据结构之ziplist（压缩列表）
Torry__的博客
08-12 3889
ziplist是Redis中的某些数据类型底层所使用的数据结构 Redis中的hash，List，Sorted List这几种类型的数据在某些情况下会使用ziplist来存储。 Hash类型 当hash类型的数据满足以下条件时，底层使用ziplist存储。 当hash键值对个数小于等于 hash-max-ziplist-entries 配置的值，默认512 当键值对中值的长度小于等于 hash-max-ziplist-value 配置的值，默认64 当hash类型的数据同时满足以上两个条件时，会将val
redis学习笔记（7）---压缩字典zipmap
qinm的专栏
05-06 3949
zipmap　　在hashtable实现中，Redis引入了zipmap数据结构，保证在hashtable刚创建以及元素较少时，用更少的内存来存储，同时对查询的效率也不会受太大的影响。 　　zipmap利用字符串实现了简单的hash表，来存储少量key-value对。内存布局　　　　zipmap的内存布局如下： 　　 　　1）zmlen：1个字节　，记录当前zipmap中key-value对
redis的zset的底层实现_浅谈Redis五种数据结构的底层原理-Go语言中文社区
weixin_39851408的博客
12-28 288
概念Redis作为一个开源的用C编写的非关系型数据库，基于优秀的CRUD效率，常用于软件系统的缓存，其本身提供了以下五种数据格式：string：字符串list：列表hash：散列表set：无序集合zset：有序集合接下来我们就要针对这五种数据结构，来分析其底层的结构这里选用的版本是redis-5.0.4，所以可能有很多地方和如今网络上的其他博文不太一致，不同的地方我会在文中指出string因为re...
Redis源码分析（四）—— ziplist的设计与实现
pcj_888的博客
12-30 1879
背景 ziplist是一种为节约内存而开发的数据结构，本质是一个字节数组。 ziplist是列表键和哈希键的底层实现之一，也用于quicklist的实现。 问题思考 双向链表结构，在存储数据本身长度远小于链表节点大小的场景下，有严重的内存浪费问题。针对这种情况，Redis设计了ziplist这种节约内存的数据结构。以下给出ziplist相关的思考问题，了解ziplist的实现原理和设计思路。 ziplist的数据结构 ziplist节点构成 为什么要设计ziplist ziplist相关操作 查找指定节
Redis源码解析：Ziplist深度剖析与高效应用
本文是一篇深入解析Redis源码的教程，重点探讨了压缩链表...理解并掌握ziplist的工作原理，对深入学习和优化Redis性能至关重要。本文通过详细的结构剖析和实例讲解，旨在帮助读者深入理解这一复杂但高效的数据结构。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值