前言
Redis 中的大 key 是一种常见的问题,本文将就这一问题进行系统的分析及解决方案。
什么是大 key
- string 多大(默认超过 10 k)
- 非 string 元素过多(哈希 / 列表 / 集合 / 有序集合 且包含大量元素)
大 key 可能引发的问题
- 超时阻塞。由于 Redis 是单线程,如果操作某个 key 用时较长,则会造成后面的请求阻塞。
- 内存空间不均匀。例如在 Redis cluster 或者 codis 中,会造成节点的内存使用不均匀。
- 网络拥塞。读取 bigkey 产生的网络流量较大造成网络拥塞。
如何解决
- 设计上避免大 key 产生。最小化原则,例如 ZSet 存储榜单时只存储 Top 数据,Hash 存储结构化数据时只存储需要用到的结构等。
- 大 key 产分为若干 sub key。大 string 拆分成若干 sub string,大拉链拆分为若干子拉链。垃圾回收和错误处理比较麻烦,需要视业务场景决定是否选用该方案。
- 压缩。对于 string,可以直接压缩后存储;对于复杂数据结构,可以先序列化(JSON、Protobuf 等)成字节序列,再存储为 string