Redis系列 二 数据结构

RedisDB( redis数据库)

默认16个  0-15

typedef struct redisDb {
    dict *dict;                  
    dict *expires;          
    dict *blocking_keys;          
    dict *ready_keys;           
    dict *watched_keys;         
    int id;                      
    long long avg_ttl;           
    unsigned long expires_cursor;  
    list *defrag_later;          
} redisDb;

dict 字典

typedef struct dict {
    dictType *type;    //类型特定函数
    void *privdata;    //私有数据
    dictht ht[2];      //2个哈希表，哈希表负载过高进行rehash的时候才会用到第2个哈希表
    int rehashidx;     //rehash目前进度，当哈希表进行rehash的时候用到，其他情况下为-1
}dict;

dictht hash table

typedef struct dictht {
    dictEntry **table;      //哈希表数组
    unsigned long size;     //哈希表大小，即哈希表数组大小
    unsigned long sizemask; //哈希表大小掩码，总是等于size-1，主要用于计算索引
    unsigned long used;     //已使用节点数，即已使用键值对数
}dictht;

dictEntry 哈希表节点

typedef struct dictEntry {
    void *key;
    union {
        void *val;
        uint64_t u64;    //uint64_t整数
        int64_t s64;     //int64_t整数
    }v;
    struct dictEntry *next;    //指向下个哈希表节点
}dictEntry;

---

String 存储 SDS （simple dynamic string）字符串最大长度为 512M

常用的 redis 字符串命令：

• SET key value：设置指定 key 的值
• GET key：获取指定 key 的值
• SETEX key seconds value：将值 value 关联到 key ，并将 key 的过期时间设为 seconds (以秒为单位)
• SETNX key value：只有在 key 不存在时设置 key 的值
• STRLEN key：返回 key 所储存的字符串值的长度
• INCR key：将 key 中储存的数字值增一
• INCRBY key increment：将 key 所储存的值加上给定的增量值（increment）
• DECR key：将 key 中储存的数字值减一
• DECRBY key decrement：key 所储存的值减去给定的减量值（decrement） 
• APPEND key value：如果 key 已经存在并且是一个字符串， APPEND 命令将指定的 value 追加到该 key 原来值（value）的末尾

位图bitmap命令：

• getbit(key, offset) ： 获取key中的第offset + 1位的值
• setbit (key, offset, value) ：将ket的第offset+1位位设置为value
• bitcount (key [, start, end])：统计key中从start到end内1的个数
• bitpos (key, bit, [start], [end)：查找到指定范围内出现的第一个bit的位置

SDS数据结构

• 二进制安全的数据结构
• 提供了内存预分配机制，避免频繁的内存分配
• 兼容C语言函数库

SDS_TYPE_5

struct __attribute__ ((__packed__)) sdshdr5 {
    unsigned char flags; /* 3 lsb of type, and 5 msb of string length */
    char buf[];// buf[0]: z:  0101001
};

 SDS_TYPE_8

struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; /* used */
    uint8_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

 SDS_TYPE_16

struct __attribute__ ((__packed__)) sdshdr16 {
    uint16_t len; /* used */
    uint16_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

 SDS_TYPE_32

struct __attribute__ ((__packed__)) sdshdr32 {
    uint32_t len; /* used */
    uint32_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

 SDS_TYPE_64

struct __attribute__ ((__packed__)) sdshdr64 {
    uint64_t len; /* used */
    uint64_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

---

List

List是一个有序(按加入的时序排序)的数据结构，Redis采用quicklist（双端链表） 和 ziplist 作为List的底层实现。

ziplist 

4字节zlbytes：存储数据容量

4字节zltail：尾结点地址

2字节zllen：节点个数

1字节zlend：尾结点，固定值255，标识结尾

entry包含如下3部分

prerawlen：前一节点信息

len：节点长度

data：节点数据

quicklist

list-max-ziplist-size  -2        

//  单个ziplist节点最大能存储  8kb  ,超过则进行分裂,将数据存储在新的ziplist节点中

list-compress-depth  1        

//  0 代表所有节点，都不进行压缩，1， 代表从头节点往后走一个，尾节点往前走一个不用压缩，其他的全部压缩，2，3，4 ... 以此类推 

---

Hash

Hash 数据结构底层实现为一个字典( dict ),也是RedisBb用来存储K-V的数据结构,当数据量比较小，或者单个元素比较小时，底层用ziplist存储，数据大小和元素数量阈值可以通过如下参数设置。

hash-max-ziplist-entries  512    //  ziplist 元素个数超过 512 ，将改为hashtable编码 hash-max-ziplist-value    64      //  单个元素大小超过 64 byte时，将改为hashtable编码

---

Set

Set 为无序的，自动去重的集合数据类型，Set 数据结构底层实现为一个value 为 null 的 字典( dict ),当数据可以用整形表示时，Set集合将被编码为intset数据结构。两个条件任意满足时 Set将用hashtable存储数据。1， 元素个数大于 set-max-intset-entries , 2 ， 元素无法用整形表示

set-max-intset-entries 512       // intset 能存储的最大元素个数，超过则用hashtable编码

---

ZSet  

ZSet  为有序的，自动去重的集合数据类型，ZSet 数据结构底层实现为 字典(dict) + 跳表(skiplist) ,当数据比较少时，用ziplist编码结构存储。

zset-max-ziplist-entries  128    // 元素个数超过128 ，将用skiplist编码

zset-max-ziplist-value     64     //  单个元素大小超过 64 byte, 将用 skiplist编码