typedef struct redisObject {
// 类型
unsigned type:4;// string,list,set,zset,hash等
// 编码
unsigned encoding:4; // int,raw,embstr,ziplist,intset,quicklist,skiplist等
// 对象最后一次被访问的时间
unsigned lru:REDIS_LRU_BITS;
// 引用计数
int refcount;
// 指向实际值的指针
void *ptr;
}
从上面分析可得Redis全局存储结构如下:
(这个图直接把我画裂开了,如有错误欢迎指正)
下面我们用"3w"方法来一一介绍下,每个数据类型,底层所用到了哪些数据结构(编码
)。
String 字符串
是什么
内部其实就是一个带长度
信息的字节数组
,原理类似Java中的ArrayList
,可以动态扩容,所以很多特性都类似了,原理是相通的。内容是以二进制的形式存储的,所以 SDS
(Simple Dynamic String) 可以存储任何类型的二进制数据,同时也不需要担心数据格式转换的问题。
struct SDS {
// …
T capacity; // 数组容量
T len; // 数组长度
byte[] content; // 数组内容
}
为什么
1.为什么申请空间比实际占用空间大,冗余了很多空位?
字符串支持append
修改操作,如果没有冗余空间,那么追加操作必会引起频繁的数组扩容,而扩容是个耗时操作,所以通过空间预分配
的方式来解决,即用冗余空间换时间。
2.实际使用长度len
字段存在的意义是什么?
我们来用反证法
证明,如果没有len
来记录字符串长度,那么每次获取字符串长度时,就要调用默认的strlen
函数来获取,而这个函数的时间复杂度是O(n),如果有了len
,每次获取长度可以直接访问它,时间复杂度立马降至为O(1)。查询效率迎来质的飞跃,这块跟Arraylist的size
原理一样。
如何实现
我们来直接用redis自带的debug
命令看下实际存储对象的底层编码encoding
,来看下底层使用了什么数据结构。
本文实例用的是redis版本:6.0.6
int编码
set key1 2000222222
OK
debug object key1
Value at:0x7f21f2eadd20 refcount:1 encoding:int serializedlength:5 lru:13142802 lru_seconds_idle:25
embstr编码
set key2 01234567890123456789012345678901234567890123 // 44个字符
OK
debug object key2
Value at:0x7f21f2e15140 refcount:1 encoding:embstr serializedlength:21 lru:13145749 lru_seconds_idle:5
raw编码
set key2 012345678901234567890123456789012345678901234 // 45个字符
OK
debug object key2
Value at:0x7f21f2eadd40 refcount:1 encoding:raw serializedlength:21 lru:13145765 lru_seconds_idle:2
总结:
为了节省内存空间,会按照实际存储字符串长度类型来选用不同编码。
-
存储的
字符串可以转为long
型,则用long类型存储,编码为int -
存储的字符串
长度不大于44个字节
时,用embstr编码 -
存储的字符串
长度大于44个字节
时,用raw编码
编码类型分这么细的原因?
为了优先使用更紧凑的数据结构来解决问题,终极目标就是为了压缩内存、压缩内存、压缩内存。
raw和embstr的区别?
embstr编码: RedisObject的元数据,指针和SDS是连续的,可以避免内存碎片
raw编码: Redis会给SDS分配独立的空间,并用指针指向SDS结构
扩容策略
-
字符串长度
小于1MB
时,采用加倍
策略,ArrayList
是1.5
倍 -
字符串长度
大于1MB
时,采用每次扩容只加固定1MB
这个扩容策略,就比ArrayList高明了,当字符串比较大时,比如200M,每次还是double的话,400M,那就太浪费空间了,为了避免这种过大的空间浪费,使用了这种阈值判断方式,针对原始数据的不同大小采用相应的有效策略。
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注Java)
结局:总结+分享
看完美团、字节、腾讯这三家的一二三面试问题,是不是感觉问的特别多,可能咱们真的又得开启面试造火箭、工作拧螺丝的模式去准备下一次的面试了。
开篇有提及我可是足足背下了Java互联网工程师面试1000题,多少还是有点用的呢,换汤不换药,不管面试官怎么问你,抓住本质即可!能读到此处的都是真爱
- Java互联网工程师面试1000题
而且从上面三家来看,算法与数据结构是必备不可少的呀,因此我建议大家可以去刷刷这本左程云大佬著作的 《程序员代码面试指南 IT名企算法与数据结构题目最优解》,里面近200道真实出现过的经典代码面试题。
- 程序员代码面试指南–IT名企算法与数据结构题目最优解
- 其余像设计模式,建议可以看看下面这4份PDF(已经整理)
- 更多的Java面试学习笔记如下,关于面试这一块,我额外细分出Java基础-中级-高级开发的面试+解析,以及调优笔记等等等。。。
以上所提及的全部Java面试学习的PDF及笔记,如若皆是你所需要的,那么都可发送给你!
一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!
AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算
以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!**](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)
AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算