Redis的bigkey了解过吗---让面试官无话可问【面试题】

写作目的

好久没更新博客了，最近受到一个说“理论-实操-小总结”大佬的点拨，问我bigkey了解过吗？他说你不用告诉我你的答案，你就说你“实操”过吗？？？我。。。

卷起来bigkey

是什么

在Redis中，一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际上中如果下面两种情况，阿里云开发规范就会认为它是bigkey。

字符串类型：它的big体现在单个value值很大，一般认为超过10KB就是bigkey。
非字符串类型：哈希、列表、集合、有序集合，它们的big体现在元素个数太多。

参考：阿里云Redis开发规范

哪些危害

1.内存空间不均匀
这样会不利于集群对内存的统一管理，多个节点是同属于一个集群，键值个数也接近，但内存容量相差较多。
比如：有3个节点，有3个key,按照概率每一个节点上会有一个key,但是一个key是bigkey,那这个节点上内存会比其他节点占用的对，就像“数据倾斜”类似。
2.超时阻塞
由于Redis单线程的特性，操作bigkey的通常比较耗时，也就意味着阻塞Redis可能性越大，这样会造成客户端阻塞或者引起故障切换，它们通常出现在慢查询中。

3bigkey也就意味着每次获取要产生的网络流量较大
假设一个bigkey为1MB，客户端每秒访问量为1000，那么每秒产生1000MB的流量，对于普通的千兆网卡的服务器来说简直是灭顶之灾，而且一般服务器会采用单机多实例的方式来部署，也就是说一个bigkey可能会对其他实例造成影响，其后果不堪设想。
4. 过期删除
有个bigkey，它安分守己（只执行简单的命令，例如hget、lpop、zscore等），但它设置了过期时间，当它过期后，会被删除，如果没有使用Redis 4.0的过期异步删除(lazyfree-lazy-expire yes)，就会存在阻塞Redis的可能性，而且这个过期删除不会从主节点的慢查询发现（因为这个删除不是客户端产生的，是内部循环事件，可以从latency命令中获取或者从slave节点慢查询发现）。
5. 迁移困难
当需要对bigkey进行迁移（例如Redis cluster的迁移slot），实际上是通过migrate命令来完成的，migrate实际上是通过dump + restore + del三个命令组合成原子命令完成，如果是bigkey，可能会使迁移失败，而且较慢的migrate会阻塞Redis。

如何产生

一般来说，bigkey的产生都是由于程序设计不当，或者对于数据规模预料不清楚造成的，来看几个案例：

(1) 社交类
粉丝列表，如果某些明星或者大v不精心设计下，必是bigkey。
说人话：比如现在王心凌等人比较火，当你微博关注明星时，会执行 list的lpush方法,关注的人多了，这个list就变成了一个bigkey
(2) 统计类
例如按天存储某项功能或者网站的用户集合，除非没几个人用，否则必是bigkey。
说人话：比如我想统计某天网站登陆的用户，那么的设置的key为“2022-06-03”，value是list,把每一个登录的用户添加进去，如果用户量大，则是bigkey
(3) 缓存类
将数据从数据库load出来序列化放到Redis里，这个方式非常常用，但有两个地方需要注意，第一，是不是有必要把所有字段都缓存，第二，有没有相关关联的数据。
说人话：比如我有一个需求查看最近一周的温度变化，我会通过定时任务把这一周的温度变化集合（ArrayList）序列号成Json存到redis中的固定的key（current:week）中，可能为了偷懒，把没用的Object的属性(比如温度的ID、记录的创建时间、修改shij)也序列化进去，这样这个key（current:week）就是bigkey

如何发现

redis-cli --bigkeys

优点：
可以看到–bigkeys给出了每种数据结构的top 1 bigkey，同时给出了每种数据类型的键值个数以及平均大小。
缺点：
1.建议在从节点执行，因为–bigkeys也是通过scan完成的。
2.建议在节点本机执行，这样可以减少网络开销。
3.如果没有从节点，可以使用–i参数，例如(–i 0.1代表100毫秒执行一次)
4.–bigkeys只能计算每种数据结构的top1，如果有些数据结构非常多的bigkey，也搞不定，毕竟不是自己写的东西嘛

2 MEMORY USAGE key

MEMORY USAGE 命令给出一个 key 和它的值在 RAM 中所占用的字节数。
返回的结果是 key 的值以及为管理该 key 分配的内存总字节数。
对于嵌套数据类型，可以使用选项 SAMPLES，其中 count 表示抽样的元素个数，默认值为 5 。当需要抽样所有元素时，使用 SAMPLES 0 。

如上，实际数据为空，但是存储时仍然耗费了一些内存，这些内存用于 Redis 服务器维护内部数据结构。随着 key 和 value 的增大，内存使用量和 key 大小基本成线性关系。

3阿里云redis大key搜索工具

阿里云redis大key搜索工具

如何删除：渐进式删除

1. 字符串：
   一般来说，对于string类型使用del命令不会产生阻塞。
2. hash
   使用hscan命令，每次获取部分(例如100个)field-value，在利用hdel删除每个field(为了快速可以使用pipeline)。
3. list
   Redis并没有提供lscan这样的API来遍历列表类型，但是提供了ltrim这样的命令可以渐进式的删除列表元素，直到把列表删除。
4. set
   使用sscan命令，每次获取部分(例如100个)元素，在利用srem删除每个元素。
5. sorted set
   使用zscan命令，每次获取部分(例如100个)元素，在利用zremrangebyrank删除元素。

参考

阿里云Redis开发规范
阿里云redis大key搜索工具
Redis开发规范解析(二)–老生常谈bigkey