redis-BigKey

BigKey
一、BigKey 是什么
BigKey 的具体表现是 redis 中的 key 对应的 value 很大，占用的 redis 空间比较大，本质上是大 value 问题。
对于 redis 中不同的数据结构类型，常几个常见的例子:
● 对于 String 类型的 value 值，值超过 10MB（数据值太大）；
● 对于 Set 类型的 value 值，含有的成员数量为 10000 个（成员数量多）；
● 对于 List 类型的 value 值，含有的成员数量为 10000 个（成员数量多）；
● 对于 Hash 格式的 value 值，含有的成员数量 1000 个，但所有成员变量的总 value 值大小为 1000MB（成员总的体积过大）；

二、BigKey 造成的影响
● 占用内存增大：相比于正常的 Key，读取大 key 需要的内存会有所增大，如果像是 value 中的 list 不断变大，可能会造成 OOM（内存溢出），还有一种就是达到 redis 设置的最大内存 maxmemory 值会造成写阻塞或者部分重要的 Key 被 redis 的淘汰策略给删除了。
● 网络阻塞延迟变大：在读取大 key 的时候，由于读取的内容较多，占用较大的带宽，造成网络带宽的阻塞，也会影响其他的应用，导致网络阻塞延迟变大。
● IO 阻塞延迟增大：BigKey 问题对应的 value 相对较大，当对较大的 value 进行读写，耗费的时间较长，这样就可能阻塞后续的请求处理，其实主要是 BigKey 的 value 进行 IO 写的时候会耗费较长的时时间，IO 写是把处理之后值通过网络返回给请求端，因为 Redis 的核心线程是单线程，也就是工作线程是单线程，单线程中的任务处理是串行执行的，前面的任务完成之后，后面的任务才能继续执行，所以因为单个 BigKey 的原因可能造成 IO 阻塞延迟。
● BigKey 迁移困难：这个问题是出现在 Redis 集群中，当需要对大 value 进行迁移（对于 Redis 集群 slot 的迁移），主要是使用 migrate 命令进行迁移的，migrate 命令是通过 dump 和 restore 和 del 三个命令组合成原子命令完成，如果是存在 bigkey 的话，可能会因为大 value 的原因导致迁移失败，而且较慢的 migrate 会阻塞 Redis，影响 Redis 服务。

三、BigKey 问题如何解决
● 针对 BigKey 进行拆分：通过将 BigKey 拆分成多个小 Key 的键值对，并且拆分后的对应的 value 大小和拆分成的成员数量比较合理，然后进行存储即可，在获取的时候通过 get 不同的 key 或是用 mget 批量获取存储的键值对。
● 清理无效的数据：这个主要是针对像是 list 和 set 这种类型，在使用的过程中，list 和 set 中对应的内容不断增加，但是由于之前存储的已经是无效的了，需要定时的对 list 和 set 进行清理。
● 压缩对应的 BigKey 的 value：可以通过序列化或者压缩的方法对 value 进行压缩，是其变为较小的 value，但是如果压缩之后如果对应的 value 还是特别大的话，就需要使用拆分的方法进行解决了。
● 监控 Redis 中内存，带宽，增长率：通过监控系统，监控 redis 中的内存占用大小和网络带宽的占用大小，以及固定时间内的内存占用增长率，当超过设定的阈值的时候，进行报警通知处理。温馨提醒：这个有点多，请仔细看下去

四、BigKey如何识别
采用shell脚本查找bigkey【MEMORY USAGE key 命令用于返回给定 key 的值所消耗的内存总量，单位是字节。化成KB/1024】
[root@~ /]# cd redis-4.0.14
[root@~ redis-4.0.14]# touch check_bigkeys.sh

内容代码如下：

#!/bin/bash
cd .
src/redis-cli -h 127.0.0.1 -c -p 6379  --scan --pattern '*' | while read key; do
    size=$(src/redis-cli -h 127.0.0.1 -c -p 6379 memory usage $key)
    if [ $size -gt 1048576 ]; then
        echo "Key: $key, Size: $size" > bigkeys.txt
    fi
done

执行检查

[root@~ redis-4.0.14]# chmod -R 777 check_bigkeys.sh
[root@~ redis-4.0.14]# ./check_bigkeys.sh

运行上述代码后,我们可以在bigkeys.txt文件中看到大key的信息