Redis大key产生、排查与优化实践

咖啡啡不加糖

于 2025-06-04 09:21:40 发布

阅读量920

点赞数 30

文章标签： redis 数据库缓存 java 后端

本文链接：https://blog.csdn.net/weixin_56018532/article/details/148401783

版权

引言

在Redis使用过程中，大key问题是一个常见且容易被忽视的性能隐患。本文将系统性地介绍Redis大key的定义、产生原因、危害，以及如何有效地排查和优化大key，帮助读者在实际工作中更好地应对Redis大key带来的挑战。

一、什么是Redis大key

1. 大key的定义

在Redis中，大key（Big Key）指的是占用内存空间较大的键值对。从本质上讲，所谓的"大key"问题实际上是"大value"问题，因为key本身通常是固定大小的，而value才是占用大量内存的部分。

2. 大key的判定标准

虽然没有绝对精确的标准，但业界通常认为：

String类型：value超过1MB
复合类型（List、Hash、Set、Sorted Set等）：包含的元素超过5000个

需要注意的是，对于复合类型，元素数量多并不一定意味着占用内存就大，还需要考虑每个元素的大小。

3. 大key的常见类型

Redis中的大key按数据结构可分为以下几类：

String类型大key：直接存储大体积数据，如文件、图片等二进制数据
Hash类型大key：包含大量field-value对的哈希表
List类型大key：包含大量元素的列表
Set类型大key：包含大量成员的集合
Sorted Set类型大key：包含大量成员的有序集合

二、Redis大key的产生原因

1. 设计不当

不合理的数据结构选择：如直接使用String类型存储大文件的二进制数据
未考虑数据增长：初期设计时未预估到数据规模的快速增长
过度集中存储：将本应分散的数据集中存储在单个key中

2. 业务需求导致

大量关联数据：某些业务场景需要将关联性强的大量数据存储在一起
全量缓存：为了提高访问效率，将整个数据集缓存在单个key中
历史数据累积：业务数据不断累积但未及时清理

3. 运维管理不善

未及时清理过期数据：如哈希结构中堆积了大量无用的键值对
缺乏监控和预警：没有对key大小进行监控，导致问题积累
备份恢复不当：在数据恢复过程中产生了大key

三、Redis大key的危害

1. 性能影响

客户端超时阻塞：Redis执行命令是单线程处理，操作大key时会比较耗时，导致客户端请求超时
内存占用不均：大key可能导致Redis内存分布不均，影响内存管理效率
网络带宽消耗：获取大key会产生大量网络流量，如一个1MB的key，每秒访问1000次，将产生1GB的网络流量

2. 运维风险

主从同步延迟：大key会导致主从复制时产生大量数据传输，增加复制延迟
数据迁移困难：在集群扩容或缩容时，大key的迁移会消耗大量资源并可能导致服务不可用
数据倾斜：在分片集群中，大key会导致数据分布不均，某些节点负载过高

3. 稳定性威胁

删除阻塞：使用DEL命令删除大key时可能阻塞Redis数十秒，影响其他请求
内存溢出风险：大key可能导致内存使用突增，触发内存淘汰策略或OOM
高可用切换：严重的阻塞可能触发哨兵机制，导致主从切换

四、Redis大key的排查方法

1. 使用Redis内置命令

1.1 使用–bigkeys参数

Redis提供了--bigkeys参数来查找大key：

redis-cli -p 6379 --bigkeys

该命令会扫描Redis中的所有key，并返回每种数据类型中最大的key。为了减少对线上服务的影响，可以使用-i参数控制扫描频率：

redis-cli -p 6379 --bigkeys -i 3

这表示每次扫描后休息3秒，降低对Redis的影响。

1.2 使用SCAN命令结合数据结构命令

可以使用SCAN命令按照一定模式和数量返回匹配的key，然后使用相应的命令获取key的大小：

数据结构	命令	复杂度	结果
String	STRLEN	O(1)	字符串值的长度
Hash	HLEN	O(1)	哈希表中字段的数量
List	LLEN	O(1)	列表元素数量
Set	SCARD	O(1)	集合元素数量
Sorted Set	ZCARD	O(1)	有序集合的元素数量

对于Redis 4.0及以上版本，还可以使用MEMORY USAGE命令直接查看key占用的内存大小：

MEMORY USAGE key_name

2. 分析RDB文件

通过分析Redis的RDB持久化文件，可以离线找出大key，不会对线上服务产生影响。

2.1 使用redis-rdb-tools

redis-rdb-tools是一个Python编写的工具，可以分析Redis的RDB文件：

pip install rdbtools python-lzf
rdb -c memory dump.rdb > memory.csv

生成的CSV文件包含每个key的内存占用情况。

2.2 使用rdb_bigkeys

rdb_bigkeys是Go语言编写的工具，性能更好：

./rdb_bigkeys -f dump.rdb -t 10

这将列出占用内存前10的key。

3. 使用云服务提供的工具

如果使用的是云服务提供商的Redis服务，通常会提供大key分析功能：

阿里云Redis：提供实时Top Key统计和离线全量Key分析功能
腾讯云Redis：提供大key分析和热key分析功能
AWS ElastiCache：提供CloudWatch监控和Redis INFO命令集成

五、Redis大key的优化方案

1. 拆分大key

1.1 按业务维度拆分

将一个大key拆分为多个小key，每个小key存储部分数据：

Hash拆分：将一个大Hash拆分为多个小Hash，可以按照二次哈希或业务属性拆分
List拆分：将一个大List拆分为多个小List，可以按照时间范围或数据特征拆分
Set/Sorted Set拆分：按照某种规则将集合元素分散到多个key中

示例代码（Hash拆分）：

// 原来的方式
hset user:1001 field1 value1 field2 value2 ...

// 拆分后的方式
hset user:1001:profile name value age value ...
hset user:1001:preferences theme value language value ...

1.2 使用分片技术

对于需要作为整体使用的大key，可以使用客户端分片技术：

// 计算分片
int shardNumber = key.hashCode() % TOTAL_SHARDS;
String shardKey = originalKey + ":" + shardNumber;

// 写入数据
jedis.hset(shardKey, field, value);

// 读取数据（需要遍历所有分片）
for (int i = 0; i < TOTAL_SHARDS; i++) {
    String shardKey = originalKey + ":" + i;
    Map<String, String> result = jedis.hgetAll(shardKey);
    // 处理结果
}

2. 压缩数据

对于String类型的大key，可以考虑使用压缩算法减小数据体积：

// 压缩数据
byte[] originalData = getOriginalData();
byte[] compressedData = compress(originalData); // 使用GZIP、Snappy等压缩算法
jedis.set(key, compressedData);

// 读取并解压
byte[] compressedData = jedis.get(key);
byte[] originalData = decompress(compressedData);

需要注意的是，压缩和解压缩会消耗额外的CPU资源，需要在内存占用和CPU消耗之间做权衡。

3. 使用合适的数据结构

根据实际需求选择合适的数据结构，避免不必要的内存占用：

使用BitMap替代Set存储布尔类型数据（如用户签到记录）
使用HyperLogLog替代Set进行基数统计（如UV统计）
使用Sorted Set的score特性替代复杂的数据结构

4. 设置过期时间和惰性删除

4.1 设置合理的过期时间

为大key设置合理的过期时间，让Redis自动清理：

EXPIRE key_name 3600  # 设置1小时过期

4.2 使用惰性删除

对于Redis 4.0及以上版本，可以使用UNLINK命令代替DEL命令，异步删除大key：

UNLINK key_name

对于Redis 4.0以下版本，可以使用Lua脚本分批删除大key：

-- 分批删除Hash
local cursor = 0
local count = 0
repeat
    local result = redis.call('HSCAN', KEYS[1], cursor, 'COUNT', 100)
    cursor = tonumber(result[1])
    local elements = result[2]
    if (#elements > 0) then
        for i = 1, #elements, 2 do
            redis.call('HDEL', KEYS[1], elements[i])
            count = count + 1
        end
    end
until cursor == 0
return count