Redis：BigKey处理

目录

MoreKey

禁用命令

命令代替

BigKey

BigKey导致的问题

多大算BigKey

BigKey产生原因

使用命令发现BigKey

删除BigKey

BigKey调优

---

bigkey问题可以划分为两个问题：

• morekey：巨量的key导致的问题。
• bigkey：单个key的大value导致的问题。

MoreKey

morekey场景下造成问题的通常是时间复杂度为O(n)的操作，比如keys *遍历整个数据库，会导致redis服务器几秒钟内无法提供服务，进而发生缓存雪崩问题，导致MySQL数据库崩溃。

以此我们需要关注两方面的问题：

• 如何禁止使用时间复杂度为O(n)的操作？
• 如何使用其他不会导致缓存雪崩的方式来实现哪些时间复杂度为O(n)的操作？

禁用命令

在redis的配置文件中可以给命令重命名，以避免一些命令被调用：rename- command CONFIG ""，将命命令重命名为空字符串""即可禁用该命令，如禁用keys、flushdb、flushall：

rename-command keys "" rename-command flushdb "" rename-command flushall ""

调用后就会报错：

命令代替

• FLUSHDB、FLUSHALL：立即删除大量键，可能会导致性能问题，可以考虑使用DEL命令逐个删除键，以分散删除操作的负载。
• DEL：DEL命令可以用来删除多个键，但是大批量删除，可以考虑使用Lua脚本来批量删除键，以避免影响性能。
• MSET：注意确保一次性设置的键值对数量不会过多，以免占用过多内存和CPU资源。
• KEYS：可以使用SCAN命令代替，它以迭代的方式获取匹配的键，而不会阻塞。
  • SCAN cursor [MATCH pattern] [COUNT count]
  • pattern用于指定通配符匹配字符串，count用于指定需要获得的大约数量。
  • scan命令会先返回一个数字，在遍历时需要填到下一次使用scan的cursor位置以保证继续遍历；如果返回0，说明遍历完成：

BigKey

BigKey导致的问题

• 堵塞方面：
  • 大key删除导致堵塞。
  • 大key传输导致网络堵塞。
• 集群方面：
  • 大key会导致不同master大小不一致，进而导致迁移困难。

多大算BigKey

阿里云Redis开发规范中：

• 大于10KB的value。
• 个数超过5000的list、hash、set、zset。

BigKey产生原因

• 长时间运行的应用：某些应用程序在长时间运行后，可能会积累大量数据，导致某些键变得非常大。例如，日志数据、计数数据、历史记录等。
• 不合理的数据结构选择：选择不合适的数据结构来存储数据，或者将本应该分散存储的数据聚合到一个键中，都可能导致Big Key的产生。

使用命令发现BigKey

1. redis-cli --bigkeys：给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小。
2.  MEMORY USAGE key [SAMPLES count]

获得一个key的大小，在脚本中可以配合遍历使用来统计哪些key大于10KB。

删除BigKey

1. String：直接使用del或unlink。
2. Hash：使用HSCAN key cursor [MATCH pattern] [COUNT count]获得一定量的键值对，再使用hdel删除这些键值对，最后使用del删除这个key：
3. List：使用ltrim命令逐渐修剪，最后再删除。
4. Set：使用sscan获得指定数量的key，再使用srem进行删除。
5. ZSet：使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素。

BigKey调优

生产调优主要是更改redis.conf中一些跟惰性删除相关的配置属性：

1. lazyfree-lazy-eviction：这个属性控制了是否在惰性回收（lazy eviction）时使用懒惰删除（lazy free）策略。如果设置为"yes"，Redis会将内存对象标记为待删除，但不会立即释放它们的内存。这可以减少内存回收操作对性能的影响。
   1. 惰性回收：一种内存管理策略，通常用于缓存系统或数据存储系统，它与及时回收（Immediate Eviction）相对。惰性回收的核心思想是，系统不会立即回收不再使用的内存对象，而是等待需要分配新内存时再进行回收。
2. lazyfree-lazy-expire：和上面类似，不过是在惰性过期（lazy expire）时使用懒惰删除策略。
   1. 惰性过期：不会立即在数据到期时将其从缓存中删除，而是等到访问数据时才检查数据是否已过期，并在需要时将其删除。
3. lazyfree-lazy-server-del：控制了是否在惰性删除服务器（lazy server delete）时使用懒惰删除策略。
   1. 惰性删除服务器：不会立即在节点不可用时立即将其从集群中删除，而是等到需要访问节点数据时才检查节点是否可用，然后再进行删除或处理。
4. lazyfree-lazy-user-del：控制了是否在用户主动删除键的操作时采用懒惰删除策略。
   1. 懒惰删除策略：不立即删除不再使用的数据，而是等待到需要时才进行删除。这种策略的主要目的是优化性能，减少删除操作对系统性能的影响。
5. replica-lazy-flush：控制 Redis 从节点（Replica）在执行数据写入操作时是否采用惰性刷新（Lazy Flush）策略。
   1. 惰性刷新策略：这意味着从节点在接收到主节点的写入操作后，会将写入操作先存储在内存中，然后根据一定的条件进行持久化，而不是立即将写入操作持久化到磁盘。这可以提高从节点的性能，因为避免了每次写入都立即进行磁盘写入操作。