redis基础数据结构

redis基础数据结构

Redis 有 5 种基础数据结构，分别为：string (字符串)、list (列表)、set (集合)、hash (哈希) 和 zset (有序集合)。

1.1 String 字符串

字符串结构使用非常广泛，一个常见的用途就是缓存用户信息。
将用户信息结构体使用 JSON 序列化成字符串，然后将序列化后的字符串塞进 Redis 来缓存；反之获取用户信息，则通过一次反序列化过程。

Redis字符串是动态字符串，其内部结构类似Java中的ArrayList，采用预分配冗余空间方式来减少内存频繁分配，如上图所示，内部是当前字符串实际分配的空间capacity，一般会高于实际字符串长度len。当字符串长度小于1M时，扩容都是加倍现有空间，如果超过1M，扩容时一次只会扩1M空间。

注意：字符串最大长度为512M。

1.1.1 单个键值对操作

127.0.0.1:6379> set key1 value1
OK
127.0.0.1:6379> exists key1
(integer) 1
127.0.0.1:6379> get key1
"value1"
127.0.0.1:6379> set key2 value2
OK
127.0.0.1:6379> del key1
(integer) 1

1.1.2 批量键值对操作

127.0.0.1:6379> mset key3 value3 key4 value4
OK
127.0.0.1:6379> mget key2 key3 key4
1) "value2"
2) "value3"
3) "value4"

1.1.3 过期和set命令扩展

• 对key设置过期时间，到点自动删除，用于控制缓存失效时间。
• 对已存在的 key 设置过期时间：expire key5 10，代表对 key5 键设置过期时间为 5s，5s 后该键自动删除；
• 创建 key 时设置过期时间：setex key5 10 value5，代表创建键值对 key5 -> values 时指定有效时间为 5s；
• 不存在 key 时创建键值对：setnx key5 valus5，代表 key5 键不存在时才创建 key5 -> values，已存在 key5 则不创建；

127.0.0.1:6379> set key5 value5
OK
127.0.0.1:6379> expire key5 10
(integer) 1
127.0.0.1:6379> get key5
"value5"
127.0.0.1:6379> get key5
(nil)
127.0.0.1:6379> setex key5 10 value5
OK
127.0.0.1:6379> get key5
"value5"
127.0.0.1:6379> get key5
(nil)
127.0.0.1:6379> setnx key5 value5
(integer) 1
127.0.0.1:6379> setnx key5 valus6
(integer) 0

1.1.4 计数

如果 value 值是一个整数，还可以对它进行自增操作。自增是有范围的，它的范围是 signed long 的最大最小值，超过了这个值，Redis 会报错。

127.0.0.1:6379> set age 30
OK
127.0.0.1:6379> incr age
(integer) 31
127.0.0.1:6379> get age
"31"
127.0.0.1:6379> incrby age 5
(integer) 36
127.0.0.1:6379> incrby age -5
(integer) 31
127.0.0.1:6379> set ages 9223372036854775807
OK
127.0.0.1:6379> incr ages
(error) ERR increment or decrement would overflow

2.1 list列表

Redis 的列表相当于 Java 语言里面的 LinkedList，注意它是链表而不是数组。这意味着 list 的插入和删除操作非常快，时间复杂度为 O(1)，但是索引定位很慢，时间复杂度为 O(n)。

当列表弹出了最后一个元素之后，该数据结构自动被删除，内存被回收。

Redis 的列表结构常用来做异步队列使用。将需要延后处理的任务结构体序列化成字符串塞进 Redis 的列表，另一个线程从这个列表中轮询数据进行处理。

2.1.1 队列：先进先出

127.0.0.1:6379> rpush books java php python
(integer) 3
127.0.0.1:6379> lpop books
"java"
127.0.0.1:6379> lpop books
"php"
127.0.0.1:6379> lpop books
"python"
127.0.0.1:6379> lpop books
(nil)

2.1.2 栈：先进后出

127.0.0.1:6379>  rpush books java php python
(integer) 3
127.0.0.1:6379> rpop books
"python"
127.0.0.1:6379> rpop books
"php"
127.0.0.1:6379> rpop books
"java"
127.0.0.1:6379> rpop books
(nil)

2.1.3 慢操作

lindex 相当于 Java 链表的 get(int index)方法，它需要对链表进行遍历，性能随着参数 index 增大而变差。 ltrim 和字面上的含义不太一样，个人觉得它叫 lretain(保留) 更合适一 些，因为 ltrim 跟的两个参数 start_index 和 end_index 定义了一个区间，在这个区间内的值， ltrim 要保留，区间之外统统砍掉。我们可以通过 ltrim 来实现一个定长的链表，这一点非常 有用。
index 可以为负数，index=-1 表示倒数第一个元素，同样 index=-2 表示倒数第二个元素。

127.0.0.1:6379> rpush books java php python
(integer) 3
127.0.0.1:6379> lindex books 1
"php"
127.0.0.1:6379> lindex books 0
"java"
127.0.0.1:6379> ltrim books 1 -1
OK
127.0.0.1:6379> llen books
(integer) 2
127.0.0.1:6379> lindex books 2
(nil)
127.0.0.1:6379> lindex books 1
"python"
127.0.0.1:6379> lindex books 0
"php"

2.1.4 快速列表(quicklist)

Redis 底层存储的还不是一个简单的 linkedlist，而是称之为快速链表 quicklist 的一个结构。

首先在列表元素较少的情况下会使用一块连续的内存存储，这个结构是 ziplist，也即是 压缩列表。它将所有的元素紧挨着一起存储，分配的是一块连续的内存。当数据量比较多的 时候才会改成 quicklist。因为普通的链表需要的附加指针空间太大，会比较浪费空间，而且会加重内存的碎片化。比如这个列表里存的只是 int 类型的数据，结构上还需要两个额外的指针 prev 和 next 。所以 Redis 将链表和 ziplist 结合起来组成了quicklist。也就是将多个 ziplist 使用双向指针串起来使用。这样既满足了快速的插入删除性能，又不会出现太大的空间冗余。

3.1 hash(字典)

3.1.1 hash结构

Redis 的字典相当于 Java 语言里面的 HashMap，它是无序字典。内部实现结构上同 Java 的 HashMap 也是一致的，同样的数组 + 链表二维结构。第一维 hash 的数组位置碰撞 时，就会将碰撞的元素使用链表串接起来。

3.1.2 渐进式 rehash 策略

Redis 的字典的值只能是字符串，redis中的rehash和java中的rehash 的方式不一样，因为 Java 的 HashMap 在字典很大时，rehash 是个耗时的操作，需要一次性全部 rehash。Redis 为了高性能，不能堵塞服务，所以采用了渐进式 rehash 策略。

渐进式 rehash 会在 rehash 时，保留新旧两个 hash 结构，查询时会同时查询两个 hash 结构，然后在后续的定时任务中以及 hash 的子指令中，循序渐进地将旧 hash 的内容 一点点迁移到新的 hash 结构中。

当 hash 移除了最后一个元素之后，该数据结构自动被删除，内存被回收。
hash 结构也可以用来存储用户信息，不同于字符串一次性需要全部序列化整个对象， hash 可以对用户结构中的每个字段单独存储。这样当我们需要获取用户信息时可以进行部分获取。而以整个字符串的形式去保存用户信息的话就只能一次性全部读取，这样就会比较浪费网络流量。

hash 也有缺点，hash 结构的存储消耗要高于单个字符串，到底该使用 hash 还是字符串，需要根据实际情况决定。

127.0.0.1:6379> hset user user1 "user1 name"
(integer) 1
127.0.0.1:6379> hset user user2 "ABCD"
(integer) 1
127.0.0.1:6379> hlen user
(integer) 2
127.0.0.1:6379> hget user user1
"user1 name"
127.0.0.1:6379> hlen user
(integer) 2
127.0.0.1:6379> hgetall user
1) "user1"
2) "user1 name"
3) "user2"
4) "ABCD"
5) "user3"
6) "suer eee"
7) "user4"
8) "abcsda"
// 更新操作，返回0
127.0.0.1:6379> hset user user2 "user2 name"
(integer) 0
127.0.0.1:6379> hset user age 50
(integer) 1
127.0.0.1:6379> hincrby user age 20
(integer) 70
127.0.0.1:6379> hget user age
"70"

4.1 set(集合)

Redis 的集合相当于 Java 语言里面的 HashSet，它内部的键值对是无序的唯一的。它的内部实现相当于一个特殊的字典，字典中所有的 value 都是一个值 NULL。
当集合中最后一个元素移除之后，数据结构自动删除，内存被回收。 set 结构可以用来存储活动中奖的用户 ID，因为有去重功能，可以保证同一个用户不会中奖两次。

4.1.1 核心命令

• 添加：sadd [key] [value1] [value2]
• 输出：smembers [key]
• 判断value是否存在：sismember [key] [value]
• 统计数量：scard [key]
• 弹出一个值：spop [key]

127.0.0.1:6379> sadd book java golang
(integer) 2
127.0.0.1:6379> smembers book
1) "golang"
2) "java"
127.0.0.1:6379> sismember book java
(integer) 1
127.0.0.1:6379> scard book
(integer) 2
127.0.0.1:6379> spop book
"golang"

5.1 zset (有序列表,核心)

zset 可能是 Redis 提供的最为特色的数据结构(面试常问)。它类似于 Java 的 SortedSet 和 HashMap 的结合体，一方面它是一个 set，保证了内部 value 的唯一性，另一方面它可以给每个 value 赋予一个 score，代表这个 value 的排序权重。它的内部实现用的是一种「跳跃列表」的数据结构。

zset 中最后一个 value 被移除后，数据结构自动删除，内存被回收。

案列1：zset 可以用来存 粉丝列表，value 值是粉丝的用户 ID，score 是关注时间。我们可以对粉丝列表按关注时间 进行排序。
案列2：zset 还可以用来存储学生的成绩，value 值是学生的 ID，score 是他的考试成绩。我们可以对成绩按分数进行排序就可以得到他的名次。

5.1.1 核心命令

• 添加：zadd [key] [score] [value]
• 按score升序排列输出：zrange [key] [start] [end]
• 按score逆序排列输出：zrevrange [key] [start] [end]
• 统计数量：zcard [key]
• 查询指定value的score：zrank [key] [value]
• 指定score区间内升序输出且带score：zrangebyscore [key] [min] [max] ,说明：-inf代表负无穷
• 指定score区间内升序输出且不带score：zrangebyscore [key] [min] [max] ,说明：-inf代表负无穷
• 删除指定value：zrem [key] [value]

127.0.0.1:6379> zadd books 9.0 "AAA"
(integer) 1
127.0.0.1:6379> zadd books 10.0 "BBB"
(integer) 1
127.0.0.1:6379> zadd books 7.0 "CCC"
(integer) 1
127.0.0.1:6379> zrange books 0 -1
1) "CCC"
2) "AAA"
3) "BBB"
127.0.0.1:6379> zrevrange books 0 -1
1) "BBB"
2) "AAA"
3) "CCC"
127.0.0.1:6379> zcard books
(integer) 3
127.0.0.1:6379> zscore books "BBB"
"10"
127.0.0.1:6379> zrank books "BBB"
(integer) 2
127.0.0.1:6379> zrangebyscore books 0 7
1) "CCC"
127.0.0.1:6379> zrangebyscore books -inf 11 withscores
1) "CCC"
2) "7"
3) "AAA"
4) "9"
5) "BBB"
6) "10"
127.0.0.1:6379>  zrangebyscore books -inf 11
1) "CCC"
2) "AAA"
3) "BBB"
127.0.0.1:6379> zrem books "CCC"
(integer) 1
127.0.0.1:6379> zrange books 0 -1
1) "AAA"
2) "BBB"

5.1.2 跳跃列表

zset 内部的排序功能是通过「跳跃列表」数据结构来实现的，它的结构非常特殊，也比 较复杂。
因为 zset 要支持随机的插入和删除，所以它不好使用数组来表示;

普通链表结构：

链表按照 score 值进行排序即当有新元素需要插入时，要定位到特定位置的插入点，才能继续保证链表是有序的。一般通过二分查找来确定插 入点，但二分查找的对象必须是数组，只有数组才可以支持快速位置定位，链表无法做到，即产生了跳跃列表。

案例1：一个创业公司，刚开始只有几个人，团队成员之间人人平等，都是联合创始人。随着公司的成长，人数渐渐变多，团队沟通成本随之增加。这时候就会引入组长制，对团队进 行划分。每个团队会有一个组长。开会的时候分团队进行，多个组长之间还会有自己的会议安排。公司规模进一步扩展，需要再增加一个层级 —— 部门，每个部门会从组长列表中推 选出一个代表来作为部长。部长们之间还会有自己的高层会议安排。

跳跃列表就是类似于这种层级制，最下面一层所有的元素都会串起来。然后每隔几个元 素挑选出一个代表来，再将这几个代表使用另外一级指针串起来。然后在这些代表里再挑出 二级代表，再串起来。最终就形成了金字塔结构。 想想你老家在世界地图中的位置：银河系- ->地球->亚洲->中国->北京->天安门 xx 号，也是这样一个类似的结构。

「跳跃列表」之所以「跳跃」，是因为内部的元素可能「身兼数职」，比如上图中间的这个元素，同时处于 L0、L1 和 L2 层，可以快速在不同层次之间进行「跳跃」。

• （1）定位插入点时，先在顶层进行定位，然后下潜到下一级定位，一直下潜到最底层找到合适的位置，将新元素插进去。
• （2）跳跃列表采取一个随机策略来决定新元素可以兼职到第几层。
• （3）首先 L0 层肯定是 100% 了，L1 层只有 50% 的概率，L2 层只有 25% 的概率，L3 层只有 12.5% 的概率，一直随机到最顶层 L31 层。绝大多数元素都过不了几层，只有极少数元素可以深入到顶层。列表中的元素越多，能够深入的层次就越深，能进入到顶层的概率 就会越大。

6.1 容器型数据结构的通用规则

list/set/hash/zset 这四种数据结构是容器型数据结构，它们共享两条通用规则： create if not exists 和 drop if no elements ；

6.1.1 create if not exists

如果容器不存在，那就创建一个，再进行操作。比如 rpush 操作刚开始是没有列表的， Redis 就会自动创建一个，然后再 rpush 进去新元素。

6.1.2 drop if no elements

如果容器里元素没有了，那么立即删除元素，释放内存。这意味着 lpop 操作到最后一 个元素，列表就消失了。

6.1.3 过期时间

（1）Redis 所有的数据结构都可以设置过期时间，时间到了，Redis 会自动删除相应的对象。
（2）需要注意的是过期是以对象为单位，比如一个 hash 结构的过期是整个 hash 对象的过期， 而不是其中的某个子 key。
（3）还有一个需要特别注意的地方是如果一个字符串已经设置了过期时间，然后你调用了 set 方法修改了它，它的过期时间会消失。

127.0.0.1:6379> set key5 value20
OK
127.0.0.1:6379> ttl key5
(integer) -1
127.0.0.1:6379> expire key5 20
(integer) 1
127.0.0.1:6379> ttl key5
(integer) 16
127.0.0.1:6379> set key5 value21
OK
127.0.0.1:6379> ttl key5
(integer) -1