Redis大key优化专题

最新推荐文章于 2024-10-10 09:00:00 发布

Nathaniel333

最新推荐文章于 2024-10-10 09:00:00 发布

阅读量55

点赞数

分类专栏： redis 文章标签： redis 数据库缓存

本文链接：https://blog.csdn.net/weixin_62827806/article/details/133838249

版权

redis 专栏收录该内容

35 篇文章 0 订阅

订阅专栏

一，概念

Redis使用过程中经常会有各种大key的情况，比如：

单个简单的key存储的value很大
hash， set，zset，list 中存储过多的元素（以万为单位）

由于redis是单线程运行的，如果一次操作的value很大会对整个redis的响应时间造成负面影响，所以，业务上能拆则拆，下面举几个典型的分拆方案。

大key产生的原因

Redis大key问题产生的原因可能有多种，如以下原因：

数据模型设计不合理：如果数据模型设计不合理，例如将大量数据存储在一个key中，或者使用一个大型散列表或集合存储数据，就容易导致单个key的大小过大，从而出现Redis大key问题；
业务需求导致key过大：有些业务需求需要使用大型数据结构，例如使用大型字符串类型key存储数据，或者使用大型列表、集合、有序集合等数据结构类型，这些需求可能导致单个key的大小过大，从而出现Redis大key问题；
数据量过大：如果Redis服务器存储的数据量过大，就容易出现单个key的大小过大的情况，从而导致Redis大key问题的发生；
内存分配不均衡：如果Redis服务器的内存分配不均衡，例如某些key占用了大量内存资源，就容易导致Redis大key问题的发生。

业务场景

即通过hash的方式来存储每一天用户订单次数。那么key = order_20181010, field = order_id, value = 10。那么如果一天有百万千万甚至上亿订单的时候，key后面的值是很多，存储空间也很大，造成所谓的大key。

风险

Redis大key会对Redis的性能、稳定性、可靠性和数据备份与恢复产生不良影响，因此需要采取相应的措施来避免和解决Redis大key问题。

Redis大key会对Redis的性能和稳定性产生很大的影响，具体表现如下：
内存占用：Redis是一种基于内存的数据结构存储系统，大key会占用大量的内存资源，导致Redis的内存使用率上升，进而导致Redis内存不足的错误；
数据读写性能：大key会导致Redis的读写性能下降。当Redis需要读取或写入一个非常大的key时，需要占用更多的内存和CPU资源，导致Redis的响应时间变慢；
服务器负载：大key会导致Redis服务器的负载增加，从而影响Redis服务器的稳定性和可靠性。当Redis需要处理大量的请求时，服务器的负载会变得非常高，可能会导致Redis服务器宕机或崩溃；
数据备份和恢复：大key会对Redis的数据备份和恢复产生影响。当需要备份或恢复Redis的数据时，大key会导致备份和恢复的时间变长，可能会影响数据的完整性和可靠性。

二，优化方法

怎样排查大key

SCAN命令

通过使用Redis的SCAN命令，可以逐步遍历数据库中的所有Key。结合其它命令（如STRLEN、LLEN、SCARD、HLEN等），可以识别出大Key。SCAN命令的优势在于它可以在不阻塞Redis实例的情况下进行遍历。

bigkeys参数

使用redis-cli命令客户端，连接Redis服务的时候，加上 --bigkeys 参数，可以扫描每种数据类型数量最大的key。

Redis RDB Tools工具

使用开源工具Redis RDB Tools，分析RDB文件，扫描出Redis大key。

怎么解决大key

数据模型优化：对数据模型进行优化，避免将大量数据存储在一个key中，或者使用一个大型散列表或集合存储数据。可以将大型数据结构拆分成多个小型数据结构，或者使用Redis的分布式特性，将数据分散到多个节点上；
数据切割：对于已经出现的大key，可以将其拆分成多个小型key，并通过Redis的管道技术批量处理这些小型key，比如对于 string 类型的大key，可以考虑拆分成多个 key - value。对于 hash 或者 list 类型，可以考虑拆分成多个 hash 或者 list。；
懒删除：使用Redis的懒删除功能，当key过期后，Redis并不会立即删除该key，而是等到有读写操作时才进行删除，避免在删除大key时对Redis服务器造成过大的负担；
过期时间设置：对于不需要长期保存的数据，可以设置较短的过期时间，避免数据长期占用Redis服务器的内存资源，导致大key问题的发生；
持久化：可以使用Redis的RDB或AOF持久化功能，将数据保存到磁盘上，减少内存占用，提高Redis的稳定性和性能；
增加硬件资源：如果Redis服务器的硬件资源不足，可以考虑增加硬件资源，例如增加内存大小或者增加Redis服务器的数量，以提高Redis的性能和稳定性；
降低业务压力：如果Redis服务器承受的业务压力太大，可以采取一些措施，例如增加缓存层、优化数据库结构、进行数据缓存等，以减轻Redis服务器的压力，避免大key问题的发生；
不用 Redis：Redis 对于长文本不是最优的，可考虑文档型数据库如：MongoDB 等。