Redis第五讲：详解 Redis 中 BigKey、HotKey 的发现与处理

已于 2022-10-27 23:58:52 修改
阅读量455 收藏 1
点赞数 1
分类专栏： 深入理解数据库 文章标签： redis 数据库 缓存 大key 热点key
于 2022-10-27 23:58:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28959087/article/details/127386874
版权
本文详细介绍了Redis中的大Key和热Key的定义、问题及其产生的原因，提供了多种发现和处理大Key、热Key的方法，包括使用Redis内置命令、开源工具以及阿里云Redis控制台的CloudDBA功能。对于大Key，建议进行拆分、清理、监控内存和定期清理失效数据；对于热Key，可采用复制、读写分离和Tair的QueryCache特性来缓解压力。
摘要由CSDN通过智能技术生成

简介： 在Redis的使用过程中，我们经常会遇到BigKey（下文将其称为“大key”）及HotKey（下文将其称为“热key”）。大Key与热Key如果未能及时发现并进行处理，很可能会使服务性能下降、用户体验变差，甚至引发大面积故障。本文详解 Redis 中 BigKey、HotKey 的发现与处理。

文章目录


在Redis的使用过程中，我们经常会遇到BigKey（下文将其称为“大key”）及HotKey（下文将其称为“热key”）。大Key与热Key如果未能及时发现并进行处理，很可能会使服务性能下降、用户体验变差，甚至引发大面积故障。

1、大Key与热Key的定义

我们经常能够在公司内部的Redis开发使用规范手册，或网络中大量的Redis最佳实践文章里看到有关大Key、热Key的定义，然而这些资料中的大Key热Key判定标准却不尽相同，但可以明确的是，它们的判定维度是一致的：大Key通常都会以数据大小与成员数量来判定，而热Key则以其接收到的请求频率、数量来判定。

1.1、什么是大Key

通常我们会将含有较大数据或含有大量成员、列表数的Key称之为大Key，下面我们将

了解本专栏 订阅专栏 解锁全文 超级会员免费看
程序员 jet_qi
关注
专栏目录
订阅专栏
一文详解 Redis 中 BigKey、HotKey 的发现与处理
阿里云技术
08-27 715
一 前言 在Redis的使用过程中，我们经常会遇到BigKey（下文将其称为“大key”）及HotKey（下文将其称为“热key”）。大Key与热Key如果未能及时发现并进行处理，很可能会使服务性能下降、用户体验变差，甚至引发大面积故障。 二 大Key与热Key的定义 我们经常能够在公司内部的Redis开发使用规范手册，或网络中大量的Redis最佳实践文章里看到有关大Key、热Key的定义，然而这些资料中的大Key热Key判定标准却不尽相同，但可以明确的是，它们的判定维度是一致的：大Key通常都会..
简述分析Reids的BigKey和HotKey问题
Java_LingFeng的博客
01-06 355
Redis big key problem，实际上不是大Key问题，而是Key对应的value过大，因此严格来说是Big Value问题，Redis value is too large (key value is too large)。 到底多大的value会导致big key问题，并没有统一的标准。 例如，对于String类型的value，有时候超过5M属于big key，有时候稳妥起见，超过10K就可以算作Bigey。
Redis中的 大/热 key问题 ，如何解决（面试版）
最新发布
m0_61925586的博客
08-26 745
就是指一个内存空间占用比较大的键(Key)大 Key 可能出现在不同的场景中，不过其本质都是相同的，就是到底占用多少内存才算得上是 big key 呢?这个没有一个绝对的说法，主要取决于具体的场景以及应用需求。这个是 Redis 内置的指令，直接在 Redis 的客户端 redis-cli 中就可以使用，该命令可以，并且显示。
Redis中的BigKey
m0_74267125的博客
04-15 1239
大 key 并不是指 key 的值很大，而是 key 对应的 value 很大。String 类型的值大于 10 KB；Hash、List、Set、ZSet 类型的元素的个数超过 5000个；
Redis 的 BigKey、HotKey 又引发了线上事故！
码猿技术专栏
02-16 306
大家好，我是不才陈某~BigKey、HotKey是 日常生产中经常会碰到由于redis集群的不当访问，造成的线上问题。而且，这也是常见的面试题。在咱们社群的面试交流中，有很多小伙伴在面试网易、滴滴、京东等大厂的二面、三面中遇到了这个问题。前段时间，有一个知识星球的小伙伴在面试阿里的时候，又遇到了此问题。所以，陈某在这里，结合行业生产案例，特意给大家，做一个彻底的、系统的梳理。大家按照这个思路去作答...
一文教你彻底打败Redis Bigkey和Hotkey问题
weixin_45563088的博客
03-19 1081
Redis Bigkey和Hotkey是Redis生产中两个比较常见的问题，本文从它们的概念、危害、发现、解决的角度，来分析一下这两个问题。
Redis热key如何发现和解决
热门推荐
qq_41956014的博客
11-08 1万+
Redis热key如何发现和解决
如何快速定位 Redis 热 key?
weixin_46837673的博客
04-05 541
背景 在 Redis 中，热 key 指的是那些在一段时间内访问频次比较高的键值，具体到业务上，商品的限时抢购、瞬时的新闻热点或某个全局性的资源，都极有可能产生热点 key。 热点 key 的出现可能会对系统的稳定性和可用性造成影响，比如对应节点的网卡带宽被打满，出现丢包重传，请求波动耗时大幅上升，甚至影响到业务的正常使用，引发用户的不满。因此，在日常的工作中，我们需要着重避免这种情况的出现，比如...
一文详解Redis中BigKey、HotKey的发现与处理
阿里云云栖号
08-27 1360
简介：在Redis的使用过程中，我们经常会遇到BigKey（下文将其称为“大key”）及HotKey（下文将其称为“热key”）。大Key与热Key如果未能及时发现并进行处理，很可能会使服务性能下降、用户体验变差，甚至引发大面积故障。 作者 | 烟圈 来源 | 阿里技术公众号 一 前言 在Redis的使用过程中，我们经常会遇到BigKey（下文将其称为“大key”）及HotKey（下文将其称为“热key”）。大Key与热Key如果未能及时发现并进行处理，很可能会使服务性能下降、用户体验变差，甚至.
Redis第一讲：Redis知识体系详解+原理+应用+面试(P6精通)
Jet_qi的博客
08-17 266
本系列主要对Redis知识体系进行详解。本篇文章作为Redis第1讲，开篇会站在知识体系的视角，介绍总体知识点，包括入门、数据结构、监控、性能调优、项目实战、源码解析等。
面试官问：Redis的热key问题如何发现和解决？
jiey0407的博客
06-10 1182
引言其实热key问题说来也很简单，就是瞬间有几十万的请求去访问redis上某个固定的key，从而压垮缓存服务的情情况。其实生活中也是有不少这样的例子。比如XX明星结婚。那么关于XX明星的Key就会瞬间增大，就会出现热数据问题。ps:hot key和big key问题，大家一定要有所了解。本文预计分为如下几个部分热key问题如何发现业内方案正文热Key问题上面提到，所谓热key问题就是，突然有几十万的请求去访问redis上的某个特定key。那么，这样会造成流量过于集中，达到物理网卡上限，从而导致这台redis
【上来自己动 Redis keyspace keyevent 大键 BigKey 热键 HotKey 监测 Prometheus】
罗山仔的博客
03-09 908
本文介绍一种定位监测BigKey的方式。利用Redis keyspace notifications机制和MEMORY命令，应用实时监测key占用内存情况。使用Scan命令完成Key元数据初始化（因为监听机制对Redis性能有影响，也可以一直使用Scan来监测监听Redis key的事件，通知应用查询key的内存占用情况key记录的元数据记录在MySQL（或者应用内存中）提供Prometheus exporter metrics接口（也可以加上Grafana）
什么是Redis的Hotkey？一文带你看懂
资料免费分享，点击名片
11-16 552
Redis 提供了 Monitor 监控命令，使用 Monitor 命令可以实时监控 Redis 数据库的所有命令操作，包括对 Hotkey 的读取和写入操作，通过对返回的执行命令进行统计来分析 Hotkey 的分布。该方式适用于 key 的数量较少且可以对 key 或 value 自身进行拆分的情况，令 Hotkey 尽量分散的落到不同的实例上。这里的客户端可以是具体的业务端，也可以是 proxy 层，根据 key 的调用情况进行统计与分析。避免 Hotkey 过期导致频繁的缓存击穿的情况。
redis的bigkey浅显分析
weixin_37642251的博客
09-12 3119
如何分析redis的bigkey？ 现在互联网通用的缓存组件，基本上都依赖于redis，在使用redis的时候，运维团队往往会碰到一些因为bigkey导致的慢查和业务响应缓慢的问题，针对redis的bigkey如何去分析？ 第一种方案： 1.通过shell脚本调用–bigkeys把实例的bigkeys分析出来 2.通过shell脚本调用–scan把实例的key通过scan拿出来在进行ttl key...
redis-如何处理热key问题
欧阳惜竹的博客
02-05 1839
redis热key问题
Redis-大key解决策略
子悠のziyou
12-07 5342
首先大key不是key很大而是key对应的value值很大 一般而言如果String类型值大于10KB，Hash，Set，Zset，List类型的元素的个数大于5000个都可以称之为大key使用时注意事项最好在从节点上执行该命令或者在Redis实例业务压力的低峰阶段进行扫描查询，因为key很多时会很慢不足之处使用SCAN命令对数据库进行扫描。然后用TYPE命令获取返回的每一个key的类型对于String类型，可以直接使用STRLEN命令获取字符串长度，也就是占用的内存空间字节数对于集合类型来说可以使用MEM
技术解读丨分布式缓存数据库Redis大KEY问题定位及优化建议
华为云官方博客
10-14 1577
摘要：如何定位分布式缓存数据库Redis大KEY问题，实操案例带你掌握优化方法。 【背景】 访问Redis 5.0 cluster集群出现OOM报错，报错信息为（error） OOM command not allowed when used memory > ‘maxmemory’,部分ECS应用程序无法向数据库写入，影响服务的正常使用。执行set t2 s2时，数据库报错OOM，如下图： 【拓扑】 环境信息： Redis 5.0 cluster集群 4G内存 DCS网段：192
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员 jet_qi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值