Redis数据结构底层原理详细分析

Redis的对象、简单动态字符串、链表、字典、跳跃表、整数集合、压缩列表的存储机制

 

首先内存和硬盘的比较

内存直接由CPU控制，也就是CPU内部集成的内存控制器，所以说内存是直接与CPU对接，享受与CPU通信的最优带宽，然而硬盘则是通过桥接芯片(在主板上)与CPU相连，所以说速度比较慢。两者相比内存比硬盘到底有多快？通常的说法是：内存访问速度是纳秒级（10的-9次方），硬盘的访问速度是微秒级（10的-3次方）。找到一个稍微科学点的测试数据，如下图

1.顺序访问：这种情况下，内存访问速度仅仅是硬盘访问速度的6~7倍（358.2M / 53.2M = 6.7）

2.随机访问：这种情况下，内存访问速度就要比硬盘访问速度快上10万倍以上 （36.7M / 316 = 113,924）

 

Redis选择了高效的内存做为存储，大家有了解过Redis在内存在的结构是怎么样的吗？接下来将为大家解读其中的奥秘

Redis在内存中的结构划分

数据：作为数据库，数据是最主要的部分，这部分占用的内存会统计在used_memory中。 Redis使用键值对存储数据，其中的值(对象)包括5种类型，即字符串、哈希、列表、集合、有序集合。 这5种类型是Redis对外提供的，实际上，在Redis内部，每种类型可能有2种或更多的内部编码实现。此外，Redis在存储对象时，并不是直接将数据扔进内存，而是会对对象进行各种包装：如redisObject、SDS等。

 

进程本身运行需要的内存：Redis主进程本身运行肯定需要占用内存，如代码、常量池等等；除了主进程外，Redis创建的子进程运行也会占用内存，如Redis执行AOF、RDB重写时创建的子进程。

 

缓冲内存：缓冲内存包括客户端缓冲区、复制积压缓冲区、AOF缓冲区等。 其中，客户端缓冲存储客户端连接的输入输出缓冲；复制积压缓冲用于部分复制功能；AOF缓冲区用于在进行AOF重写时，保存最近的写入命令。

 

内存碎片：内存碎片是Redis在分配、回收物理内存过程中产生的。 例如，如果对数据的更改频繁，而且数据之间的大小相差很大，可能导致redis释放的空间在物理内存中并没有释放，但redis又无法有效利用，这就形成了内存碎片。

 

生产上我们经常使用 Redis Info 命令查看Redis服务器的信息和统计数值

• server : 一般 Redis 服务器信息，包含以下域：

• • redis_version : Redis 服务器版本
  • redis_git_sha1 : Git SHA1
  • redis_git_dirty : Git dirty flag
  • os : Redis 服务器的宿主操作系统
  • arch_bits : 架构（32 或 64 位）
  • multiplexing_api : Redis 所使用的事件处理机制
  • gcc_version : 编译 Redis 时所使用的 GCC 版本
  • process_id : 服务器进程的 PID
  • run_id : Redis 服务器的随机标识符（用于 Sentinel 和集群）
  • tcp_port : TCP/IP 监听端口
  • uptime_in_seconds : 自 Redis 服务器启动以来，经过的秒数
  • uptime_in_days : 自 Redis 服务器启动以来，经过的天数
  • lru_clock : 以分钟为单位进行自增的时钟，用于 LRU 管理

• clients : 已连接客户端信息，包含以下域：

• • connected_clients : 已连接客户端的数量（不包括通过从属服务器连接的客户端）
  • client_longest_output_list : 当前连接的客户端当中，最长的输出列表
  • client_longest_input_buf : 当前连接的客户端当中，最大输入缓存
  • blocked_clients : 正在等待阻塞命令（BLPOP、BRPOP、BRPOPLPUSH）的客户端的数量

• memory : 内存信息，包含以下域：

• • used_memory : 由 Redis 分配器分配的内存总量，以字节（byte）为单位
  • used_memory_human : 以人类可读的格式返回 Redis 分配的内存总量
  • used_memory_rss : 从操作系统的角度，返回 Redis 已分配的内存总量（俗称常驻集大小）。这个值和 top 、 ps 等命令的输出一致。
  • used_memory_peak : Redis 的内存消耗峰值（以字节为单位）
  • used_memory_peak_human : 以人类可读的格式返回 Redis 的内存消耗峰值
  • used_memory_lua : Lua 引擎所使用的内存大小（以字节为单位）
  • mem_fragmentation_ratio : used_memory_rss 和 used_memory 之间的比率
  • mem_allocator : 在编译时指定的， Redis 所使用的内存分配器。可以是 libc 、 jemalloc 或者 tcmalloc 。

在理想情况下， used_memory_rss 的值应该只比 used_memory 稍微高一点儿。当 rss > used ，且两者的值相差较大时，表示存在（内部或外部的）内存碎片。内存碎片的比率可以通过 mem_fragmentation_ratio 的值看出。当 used > rss 时，表示 Redis 的部分内存被操作系统换出到交换空间了，在这种情况下，操作可能会产生明显的延迟。当 Redis 释放内存时，分配器可能会，也可能不会，将内存返还给操作系统。如果 Redis 释放了内存，却没有将内存返还给操作系统，那么 used_memory 的值可能和操作系统显示的 Redis 内存占用并不一致。查看 used_memory_peak 的值可以验证这种情况是否发生。

mem_fragmentation_ratio < 1 表示Redis内存分配超出了物理内存，操作系统正在进行内存交换，内存交换会引起非常明显的响应延迟；

mem_fragmentation_ratio > 1 是合理的；

mem_fragmentation_ratio > 1.5 说明Redis消耗了实际需要物理内存的150%以上，其中50%是内存碎片率，可能是操作系统或Redis实例中内存管理变差的表现

 

• persistence : RDB 和 AOF 的相关信息
• stats : 一般统计信息
• replication : 主/从复制信息
• cpu : CPU 计算量统计信息
• commandstats : Redis 命令统计信息
• cluster : Redis 集群信息
• keyspace : 数据库相关的统计信息

 

 

了解了一些Redis基本常识以后，让我们真正的来看一下Redis的数据储存结构是怎么样的，Redis的数据存储中我们会涉及到内存分配器、简单的动态字符串(SDS)、5种数据类型及内部编码、redisObject等知识梳理。我们首先看下面一张图我们在存储数据时数据基本的数据模型。

dictEntry: 我们都知道Redis是Key-value数据库，因此每个键值都会有对应的一个dictEntry，里面存储着指向key和value的指针及next指向下一个dictEntry。

Key: Key并不是直接已字符串形式存储，而是存储在SDS结构中。

redisObject：Value既不是直接以字符串存储，也不是像Key一样直接存储在SDS中，而是存储在redisObject中。 实际上，不论Value是5种类型的哪一种，都是通过redisObject来存储的；而redisObject中的type字段指明了Value对象的类型，ptr字段则指向对象所在的地址。 不过可以看出，字符串对象虽然经过了redisObject的包装，但仍然需要通过SDS存储。 实际上，redisObject除了type和ptr字段以外，还有其他字段图中没有给出，如用于指定对象内部编码的字段。redis