Redis设计思路学习与总结

最新推荐文章于 2023-02-22 09:55:34 发布

weixin_33733810

最新推荐文章于 2023-02-22 09:55:34 发布

阅读量92

点赞数

文章标签：数据库内存管理 c/c++

宋增宽。腾讯project师。16年毕业增加腾讯，从事海量服务后台设计与研发工作，如今负责QQ群后台等项目。喜欢研究技术，并思考技术演变。专注于高并发业务架构的设计与性能优化。

阅读原文。本文由腾云阁授权公布，经社区同意后方可转载。

很多其它技术文章，请訪问腾云阁。

下半年利用空余时间研究和分析了部分Redis源代码。本文从网络模型、数据结构和内存管理、持久化和多机协作四个角度对redis的设计思路进行了分析。若有不对之处，希望各路大神指出。

Redis是业界普遍应用的缓存组件，研究一个组件框架。最直观的办法就是从应用方的角度出发，将每一个步骤的考虑一番，从这些步骤入手去研究往往可以最快的体会到一个组件框架的设计哲学。

以Redis为例，每当发起一条请求时，redis是怎样管理管理网络请求，收到请求后又是通过什么样的数据结构进行组织并操作内存，这些数据又是怎样dump到磁盘实现持久化，再到多机环境下怎样同步和保证一致性……本文就是从网络模型、数据结构设计与内存管理、持久化方法和多机四个角度简要描写叙述了redis的设计和自己的一点体会。

一.网络模型

Redis是典型的基于Reactor的事件驱动模型，单进程单线程，高效的框架总是相似的。网络模型与spp的异步模型差点儿一致。

Redis流程上总体分为接受请求处理器、响应处理器和应答处理器三个同步模块。每一个请求都是要经历这三个部分。

Redis集成了libevent/epoll/kqueue/select等多种事件管理机制，可以依据操作系统版本号自由选择合适的管理机制，当中libevent是最优选择的机制。

Redis的网络模型有着全部事件驱动模型的优点。高效低耗。

可是面对耗时较长的操作的时候，相同无法处理请求，仅仅能等到事件处理完成才干响应。之前在业务中也遇到过这种场景，删除redis中全量的key-value，整个操作时间较长，操作期间全部的请求都无法响应。

所以了解清楚网络模型有助于在业务中扬长避短，降低长耗时的请求，尽可能多一些简单的短耗时请求发挥异步模型的最大的威力。其实在Redis的设计中也多次体现这一点。

二.数据结构和内存管理

1.字符串

1.1 结构

Redis的字符串是对C语言原始字符串的二次封装。结构例如以下：

struct sdshdr {
    long len;
    long free;
    char buf[];
};

可以看出。每当定义一个字符串时，除了保存字符的空间。Redis还分配了额外的空间用于管理属性字段。

1.2 内存管理方式

动态内存管理方式，动态方式最大的优点就是可以较为充分的利用内存空间，降低内存碎片化，与此同一时候带来的劣势就是easy引起频繁的内存抖动，通常採用“空间预分配”和“惰性空间释放”两种优化策略来降低内存抖动，redis也不例外。

每次改动字符串内容时。首先检查内存空间是否符合要求。否则就扩大2倍或者按M增长；降低字符串内容时。内存并不会立马回收，而是按需回收。

关于内存管理的优化。最主要的出发点就是浪费一点空间还是牺牲一些时间的权衡，像STL、tcmalloc、protobuf3的arena机制等採用的核心思路都是“预分配迟回收”。Redis也是一样的。

1.3 二进制安全

推断字符串结束与否的标识是len字段，而不是C语言的’\0’，因此是二进制安全的。

放心的将pb序列化后的二进制字符串存入redis。

简而言之，通过redis的简单封装，redis的字符串的操作更加方便，性能更友好。而且屏蔽了C语言字符串的一些须要用户关心的问题。

2.字典（哈希）

字典的底层一定是hash。涉及到hash一定会涉及到hash算法、冲突的解决方法和hash表扩容和缩容。

2.1 hash算法

Redis使用的就是经常使用的Murmurhash2。Murmurhash算法可以给出在随意输入序列下的散列分布性。而且计算速度很快。之前做共享内存的Local-Cache的需求时也正是利用了Murmurhash的优势。攻克了原有结构的hash函数散列分布性差的问题。

2.2 hash冲突解决方法

链地址法解决hash冲突，通用解决方式没什么特殊的。多说一句。假设选用链地址解决冲突。那么势必要有一个散列性很好的hash函数。否则hash的性能将会大大折扣。Redis选用了Murmurhash，所以可以放心大胆的採用链地址方案。

2.3 hash扩容和缩容

维持hash表在一个合理的负载范围之内，简称为rehash过程。
rehash的过程也是一个权衡的过程。在做评估之前首先明白一点。无论中间採用什么样的rehash策略，rehash在宏观上看一定是：分配一个新的内存块。老数据搬到新的内存块上，释放旧内存块。

老数据何时搬？怎么搬？就变成了一个须要权衡的问题。
第一部分的网络模型上明白的指出Redis的事件驱动模型特点，不适合玩长耗时操作。假设一个hashtable很大。须要进行扩容就一次性把老数据copy过去。那就会很耗时，违背事件驱动的特点。

所以Redis依然採用了一种惰性的方案：
新空间分配完成后，启动rehashidx标识符表明rehash过程的開始。之后全部增删改查涉及的操作时都会将数据迁移到新空间，直到老空间数据大小为0表明数据已经全部在新空间，将rehashidx禁用，表明rehash结束。
将一次性的集中问题分而治之，在Redis的设计哲学中体现的淋漓尽致，主要是为了避免大耗时操作，影响Redis响应客户请求。

3.整数集合

变长整数存储，整数分为16/32/64三个变长尺度。依据存入的数据所属的类型，进行规划。
每次插入新元素都有可能导致尺度升级（比如由16位涨到32位），因此插入整数的时间复杂度为O（n）。这里也是一个权衡，内存空间和时间的一个折中，尽可能节省内存。

4.跳跃表

Redis的skilplist和普通的skiplist没什么不同。都是冗余数据实现的从粗到细的多层次链表，Redis中应用跳表的地方不多。常见的就是有序集合。

Redis的跳表和普通skiplist没有什么特殊之处。

5.链表

Redis的链表是双向非循环链表。拥有表头和表尾指针。对于首尾的操作时间复杂度是O(1)，查找时间复杂度O(n)。插入时间复杂度O(1)。
Redis的链表和普通链表没有什么特殊之处。

三.AOF和RDB持久化

AOF持久化日志。RDB持久化实体数据。AOF优先级大于RDB。

1.AOF持久化

机制：通过定时事件将aof缓冲区内的数据定时写到磁盘上。

2.AOF重写

为了降低AOF大小，Redis提供了AOF重写功能，这个重写功能做的工作就是创建一个新AOF文件取代老的AOF，而且这个新的AOF文件没有一条冗余指令。（比如对list先插入A/B/C，后删除B/C，再插入D共6条指令，终于状态为A/D。仅仅需1条指令就行）
实现原理就是读现有数据库的状态，依据状态反推指令，跟之前的AOF无关。相同。为了避免长时间耗时，重写工作放在子进程进行。

3.RDB持久化

SAVE和BGSAVE两个命令都是用于生成RDB文件，差别在于BGSAVE会fork出一个子进程单独进行。不影响Redis处理正常请求。
定时和定次数后进行持久化操作。
简而言之，RDB的过程其实是比較简单的，满足条件后直接去写RDB文件就结束了。

四.多机和集群

1.主从server

避免单点是全部服务的通用问题，Redis也不例外。解决单点就要有备机。有备机就要解决固有的数据同步问题。

1.1 sync——原始版主从同步

Redis最初的同步做法是sync指令，通过sync每次都会全量数据，显然每次都全量复制的设计比較消耗资源。改进思路也是常规逻辑，第一次全量。剩下的增量。这就是如今的psync指令的活。

1.2 psync

部分重同步实现的技术手段是“偏移序号+积压缓冲区”，详细做法例如以下：
（1）主从分别维护一个seq。主每次完成一个请求便seq+1，从每同步完后更新自己seq；
（2）从每次打算同步时都是携带着自己的seq到主，主将自身的seq与从做差结果与积压缓冲区大小比較，假设小于积压缓冲区大小，直接从积压缓冲区取对应的操作进行部分重同步；
（3）否则说明积压缓冲区不可以cover掉主从不一致的数据，进行全量同步。

本质做法用空间换时间，显然在这里牺牲部分空间换回高效的部分重同步，收益比很大。