Redis基本数据类型

Redis的基本数据类型：String、List、Set、Hash、Zset

数据类型	特点	存储对象	数据结构
String	二进制安全	可以包含任何数据	类似于Java的ArrayList
List	单键多值	列表	先连续内存ziplist，多了双向链表quickList
Set	去重的无序集合	去重的无序集合	哈希表实现的dict字典
Hash	键值对集合	对象	长度较短且个数较少时，使用ziplist，否则使用hashtable
Zset	排序的Set	排序Set	hash和跳跃表

一、String字符串

1.String基本概念

String是Redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。

String类型是二进制安全的。只要内容能用字符串表示都可以存，意味着Redis的string可以包含任何数据。比如jpg图片或者序列化的对象。
String类型是Redis最基本的数据类型，一个Redis中字符串value最多可以是512M

2.String操作命令

基本操作

set <key><value>：添加键值对,设置相同的key将原来的value覆盖掉
*NX：当数据库中key不存在时，可以将key-value添加数据库
*XX：当数据库中key存在时，可以将key-value添加数据库，与NX参数互斥
*EX：key的超时秒数
*PX：key的超时毫秒数，与EX互斥

get <key>：查询对应键值
append <key><value>：将给定的value追加到原值的末尾
strlen <key>：获得值的长度
setnx <key><value>：只有在key不存在时才能设置value的值

incr <key>：将key中储存的数字值增1。只能对数字值操作，如果为空，新增值为1
decr <key>：将key中储存的数字值减1。只能对数字值操作，如果为空，新增值为-1
incrby / decrby <key><步长>：将key中储存的数字值增减。自定义步长（每次加减的值）。原子性，三个用户同时+1，结果必定+3

批量操作

mset <key1><value1><key2><value2>  ..... 
同时设置一个或多个 key-value对

mget <key1><key2><key3> .....
同时获取一个或多个value

msetnx <key1><value1><key2><value2>  ..... 
同时设置一个或多个key-value对，当且仅当所有给定key都不存在。原子性，有一个失败则都失败

getrange <key><起始位置><结束位置>
获得值的范围，类似java中的substring，前包，后包

setrange <key><起始位置><value>
用value覆写key所储存的字符串值，从起始位置开始(索引从0开始)。

setex <key><过期时间><value>
设置键值的同时，设置过期时间，单位秒。

getset <key><value>
以新换旧，设置了新值同时获得旧值。

3.String数据结构

String的数据结构为简单动态字符串(Simple Dynamic String,缩写SDS)。是可以修改的字符串，内部结构实现上类似于Java的ArrayList，采用预分配冗余空间的方式来减少内存的频繁分配。

如图中所示，内部为当前字符串实际分配的空间capacity一般要高于实际字符串长度len。当字符串长度小于1M时，扩容都是加倍现有的空间，如果超过1M，扩容时一次只会多扩1M的空间。需要注意的是字符串最大长度为512M。

二、List列表

1.List基本概念

1. 单键多值
2. Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）。
3. 它的底层实际是个双向链表，对两端的操作性能很高，通过索引下标的操作中间的节点性能会较差。
   

2.List操作命令

lpush/rpush <key><value1><value2><value3> .... 
从左边/右边插入一个或多个值。

lpop/rpop <key>
从左边/右边吐出一个值。值在键在，值光键亡。

rpoplpush <key1><key2>
从key1列表右边吐出一个值，插到key2列表左边。

lrange <key><start><stop>
按照索引下标获得元素(从左到右)

lrange mylist 0 -1
0左边第一个，-1右边第一个，（0-1表示获取所有）

lindex <key><index>
按照索引下标获得元素(从左到右)

llen <key>
获得列表长度 

linsert <key> before <value><newvalue>
在value的后面插入newvalue插入值

lrem <key><n><value>
从左边删除n个value(从左到右)

lset<key><index><value>
将列表key下标为index的值替换成value

3.List数据结构

List的数据结构为快速链表quickList。

1. 首先在列表元素较少的情况下会使用一块连续的内存存储，这个结构是ziplist，也即是压缩列表。
2. 它将所有的元素紧挨着一起存储，分配的是一块连续的内存。
3. 当数据量比较多的时候才会改成quicklist。
4. 因为普通的链表需要的附加指针空间太大，会比较浪费空间。比如这个列表里存的只是int类型的数据，结构上还需要两个额外的指针prev和next。
5. Redis将链表和ziplist结合起来组成了quicklist。也就是将多个ziplist使用双向指针串起来使用。这样既满足了快速的插入删除性能，又不会出现太大的空间冗余。
   

三、Set集合

1.Set基本概念

Set对外提供的功能与List类似是一个列表的功能，特殊之处在于set是可以自动排重的。当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的。

Redis的Set是String类型的无序集合。它底层其实是一个value为null的hash表，所以添加，删除，查找的复杂度都是O(1)。

一个算法，随着数据的增加，执行时间的长短，如果是O(1)，数据增加，查找数据的时间不变.

2.Set操作命令

sadd <key><value1><value2> ..... 
将一个或多个member元素加入到集合key中，已经存在的member元素将被忽略

smembers <key>
取出该集合的所有值。

sismember <key><value>
判断集合key是否为含有该value值，有1，没有0

scard<key>
返回该集合的元素个数。

srem <key><value1><value2> .... 
删除集合中的某个元素。

spop <key>
随机从该集合中吐出一个值。

srandmember <key><n>
随机从该集合中取出n个值。不会从集合中删除

smove <source><destination><value>
把集合中一个值value从一个集合source移动到另一个集合destination

sinter <key1><key2>
返回两个集合的交集元素

sunion <key1><key2>
返回两个集合的并集元素

sdiff <key1><key2>
返回两个集合的差集元素(key1中的，不包含key2中的)

3.Set数据结构

Set数据结构是dict字典，字典是用哈希表实现的。

Java中HashSet的内部实现使用的是HashMap，只不过所有的value都指向同一个对象。Redis的set结构也是一样，它的内部也使用hash结构，所有的value都指向同一个内部值。

四、Hash哈希

1.Hash基本概念

Redis hash 是一个键值对集合。
Redis hash是一个String类型的field和value的映射表，hash特别适合用于存储对象。
类似Java里面的Map<String,Object>

例如用户ID为查找的key，存储的value用户对象包含姓名，年龄，生日等信息

2.Hash操作命令

hset <key><field><value>
给key集合中的field键赋值value

hget <key1><field>
从key1集合field取出value 

hmset <key1><field1><value1><field2><value2>... 
批量设置hash的值

hexists<key1><field>
查看哈希表key中，给定域field是否存在。 

hkeys <key>
列出该hash集合的所有field

hvals <key>
列出该hash集合的所有value

hincrby <key><field><increment>
为哈希表 key 中的域 field 的值加上增量 1   -1

hsetnx <key><field><value>
将哈希表key中的域field的值设置为value，当且仅当域field不存在 

3.Hash数据结构

Hash类型对应的数据结构是两种：ziplist（压缩列表），hashtable（哈希表）。
当field-value长度较短且个数较少时，使用ziplist，否则使用hashtable。

五、Zset有序集合

1.Zset基本概念

1. Redis有序集合Zset与普通集合Set非常相似，是一个没有重复元素的字符串集合。
2. 不同之处是有序集合的每个成员都关联了一个评分（score），这个评分（score）被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的，但是评分可以是重复的 。
3. 因为元素是有序的, 所以你也可以很快的根据评分（score）或者次序（position）来获取一个范围的元素。
4. 访问有序集合的中间元素也是非常快的，因此你能够使用有序集合作为一个没有重复成员的智能列表。

评分（score）存储格式
Redis的zset的score是用 double 存储的，一个 64 位浮点数存储时分为3段：

符号位(Sign) : 0代表正，1代表为负；（第一段，占1位）
指数位（Exponent）:用于存储科学计数法中的指数数据；（第二段，占11位）
尾数部分（Mantissa）：尾数部分；（第三段，占52位）

double 存储的有效数据是第三段的52位，超出会损失精度，由于标准规定小数点是在有效数字最前面，所以实际可以存储 53 位数字。

利用二进制 64 位 long 分段存储各个维度

首先时间戳如果全存储就太长了，可以通过一些计算缩小一些，先忽略毫秒，然后和一个大数计算差值。

long ts = 1609430400000;//2021.1.1 0:0:0
int MAX_SECOND = 1893427200; // 2030.1.1 0:0:0
int sts = (MAX_SECOND - (int)(ts / 1000));// 283996800

这样时间就缩小到了300000000以内。

接下来进行划分，首位标志位不用，剩下63位，然后我划分高33位存分数，1位存标志位，最后29位存时间戳，存储结构是这样的：

如果要不损失精度，第一段可存储位数 = 53 - 1 - 29 = 23；
第一段最大值 = 2^33 = 8589934591，不损失精度 = 2^23 = 8388607；
第三段最大值 = 2^29 = 536870911；

使用时可以适当缩短第三段时间戳的长度，或者不追求时间戳一定精确的话，第一段分数可以超出不损失精度的长度，也只会损失一点时间戳的精度而已。

直接拆分十进制数
可以用二进制拆分当然也可以直接拆分十进制数，为了方便，还可以用小数划分维度，比如将积分放在整数位，标志位和时间戳放在小数位。

A    100.11612754184
B    200.01612754184
C    200.11612754184
D    400.01612754184
E    200.11612754184

不过这样不丢精度存储的分数比二进制拆分小。

数据量不大的情况下直接使用 读数据库 就可以了，比较方便。用 Redis 的时候，如果排序维度多，可以使用拆分二进制或十进制的方法存储，二进制的优点是存储的数比较大，而且可以用位运算，十进制的优点是计算简单，可读性比较好。各个维度的长度还可以做成配置项，这样就可以满足不同的业务需求了。

2.Zset操作命令

zadd  <key><score1><value1><score2><value2>…
将一个或多个member元素及其score值加入到有序集key当中。

zrange <key><start><stop>  [WITHSCORES]   
返回有序集key中，下标在start和stop之间的元素
带WITHSCORES，可以让分数一起和值返回到结果集。

zrangebyscore key minmax [withscores] [limit offset count]
返回有序集key中，所有score值介于min和max之间(包括等于min或max)的成员。
有序集成员按score值递增(从小到大)次序排列。 

zrevrangebyscore key maxmin [withscores] [limit offset count]               
同上，改为从大到小排列。 

zincrby <key><increment><value>
为元素的score加上增量

zrem  <key><value>
删除该集合下，指定值的元素 

zcount <key><min><max>
统计该集合，分数区间内的元素个数 

zrank <key><value>
返回该值在集合中的排名，从0开始

3.Zset数据结构

SortedSet(zset)是Redis提供的一个非常特别的数据结构，一方面它等价于Java的数据结构Map<String, Double>，可以给每一个元素value赋予一个权重score，另一方面它又类似于TreeSet，内部的元素会按照权重score进行排序，可以得到每个元素的名次，还可以通过score的范围来获取元素的列表。

Zset底层使用了两个数据结构
1.hash，hash的作用就是关联元素value和权重score，保障元素value的唯一性，可以通过元素value找到相应的score值。
2.跳跃表，跳跃表的目的在于给元素value排序，根据score的范围获取元素列表。

跳跃表（跳表）
一、简介
有序集合在生活中比较常见，例如根据成绩对学生排名，根据得分对玩家排名等。对于有序集合的底层实现，可以用数组、平衡树、链表等。数组不便元素的插入、删除；平衡树或红黑树虽然效率高但结构复杂；链表查询需要遍历所有效率低。Redis采用的是跳跃表。跳跃表效率堪比红黑树，实现远比红黑树简单。

二、实例
对比有序链表和跳跃表，从链表中查询出51

（1）有序链表

要查找值为51的元素，需要从第一个元素开始依次查找、比较才能找到。共需要6次比较。

（2）跳跃表
从最上层开始找，比寻找元素大找下一个结点，比寻找元素小找前一个结点

1.从第2层开始，1节点比51节点小，向后比较。
2.21节点比51节点小，继续向后比较，后面就是NULL了，所以从21节点向下到第1层
3.在第1层，41节点比51节点小，继续向后，61节点比51节点大，所以从41向下
4.在第0层，51节点为要查找的节点，节点被找到，共查找4次。

从此可以看出跳跃表比有序链表效率要高

4.Zset实际使用场景-排行榜

因为Zset自身可以排序的特点，所以比较适合做一些需要排序的功能，比如说排行榜

举例：假设lb为排行榜名称( leaderboard )，user1、user2等为玩家唯一标识。
容易遇到的问题是拥有相同的分数

当user2和user3具有相同的分数时，在按分数逆序排序时，user3排在了user2前面。而在实际应用场景中，我们更希望看到user2排在user3前面，因为user2比user3先加入排行榜，也就是说user2先到达该分数。

但Redis在遇到分数相同时是按照集合成员自身的字典顺序来排序，这里即是按照”user2″和”user3″这两个字符串进行排序，以逆序排序的话user3自然排到了前面。

要解决这个问题，我们可以考虑在分数中加入时间戳，计算公式为：

带时间戳的分数 = 实际分数*10000000000 + (9999999999 – timestamp)

10000000000：11位数
9999999999：10位9，大于timestamp的十位数，减去timestamp之后越大日期越靠前，会导致日期越早，评分越高
timestamp：1970年1月1日以来的秒数，最大值4294967295（10位），越大日期越靠后

timestamp我们采用系统提供的time()函数，也就是1970年1月1日以来的秒数，我们采用32位的时间戳（这能坚持到2038年），由于32位时间戳是10位十进制整数（最大值4294967295），所以我们让时间戳占据低10位（十进制整数），实际分数则扩大10^10倍，然后把两部分相加的结果作为zset的分数。考虑到要按时间倒序排列，所以时间戳这部分需要颠倒一下，这便是用9999999999减去时间戳的原因。当我们要读取玩家实际分数时，只需去掉后10位即可。
初步看起来这个方案还不错，但这里面有两个问题。

问题
第一个问题是小问题，采用秒为时间戳可能区分度还不够，如果同一秒出现两个分数相同的仍然会出现前面的问题，当然我们可以选择精度更高的时间戳，但在实际场景中，同一秒谁排前面已经无关紧要。

第二个问题是大问题，因为Redis的分数类型采用的是double，64位双精度浮点数只有52位有效数字，它能精确表达的整数范围为-2^53到253，最高只能表示16位十进制整数（最大值为9007199254740992，其实连16位也不能完整表示）。这就是说，如果前面时间戳占了10位的话，分数就只剩下6位了，这对于某些排行榜分数来说是不够用的。我们可以考虑缩减时间戳位数，比如从2015年1月1日开始计时，但这仍然增加不了几位。或者减少区分度，以分钟、小时来作为时间戳单位。

如果Redis的分数类型为int64，我们就没有上面的烦恼。说到这里，其实Redis真应该再额外提供一个int64类型的ZSet，但目前只能是幻想，除非自己改其源码。

既然Redis也不能完美解决排行榜问题，那最终是不是有必要自己实现一个专门的排行榜数据结构呢？毕竟实际应用中的排行榜有很多可以优化的地方，比玩家呈金字塔分布，越是低分段玩家数量越多，同一分数拥有大量玩家，玩家增加一分都可能超越很多玩家，这就为优化提供了可能。