【Redis】使用redis-cli的“--bigkeys”选项查找大Key

最新推荐文章于 2024-04-21 01:37:05 发布
最新推荐文章于 2024-04-21 01:37:05 发布
阅读量789 收藏
点赞数
文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QM_ITQM/article/details/133948809
版权

在Redis的使用过程中，我们经常会遇到BigKey（下文将其称为“大key”）及HotKey（下文将其称为“热key”）。大Key与热Key如果未能及时发现并进行处理，很可能会使服务性能下降、用户体验变差，甚至引发大面积故障。

下面将为大家介绍大Key的定义及查找方法：

一、什么是大Key？

通常我们会将含有较大数据或含有大量成员、列表数的Key称之为大Key，下面我们将用几个实际的例子对大Key的特征进行描述：

一个STRING类型的Key，它的值为5MB（数据过大）

一个LIST类型的Key，它的列表数量为20000个（列表数量过多

最低0.47元/天 解锁文章
奇墨 ITQM
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Redis：bigkeys内存分析
进击的小白
02-01 691
随着时间流逝，redis内存逐步增大，需要对redis内存进行清理，发现问题，解决问题。
一文读懂Redis6的--bigkeys选项源码以及redis-bigkey-online项目介绍
热门推荐
wejack的专栏
09-24 1万+
文章系转载，方便整理和归档 作者：crabor 链接：https://www.jianshu.com/p/9e150d72ffc9 来源：简书 本文分为两个部分，第一是详细讲解Redis6的–bigkeys选项相关源码是怎样实现的，第二部分为自己对–bigkeys源码的优化项目redis-bigkey-online的介绍。redis-bigkey-online是自己开发的非常好用、高效的bigkey查找工具，因为是修改的源码，所以是直接整合在redis-cli程序中，由官方的 ./redis-cli .
如何快速定位 Redis 热 key(1)
最新发布
2301_82242844的博客
04-21 297
改动 Redis SDK，记录每个请求，定时把收集到的数据上报，然后由一个统一的服务进行聚合计算。方案直观简单，但没法适应多语言架构，一方面多语言 SDK 对齐是个问题，另外一方面后期 SDK 的维护升级会面临比较大的困难，成本很高。代理层收集上报如果所有的 Redis 请求都经过代理的话，可以考虑改动 Proxy 代码进行收集，思路与客户端基本类似。该方案对使用方完全透明，能够解决客户端 SDK 的语言异构和版本升级问题，不过开发成本会比客户端高些。Redis 数据定时扫描。
第十三章_Redis中的BigKey
sinat_31583645的博客
05-10 758
其次，对于同时删除多个 key 的需求，在主动删除的场景下，我们其实是有办法的 -- 分批删除，比如对于一个大的集合，我们可以通过 scan 以循环的方式每次扫描 100 个键然后删除，对于多个 key 的删除，就直接按 key 分批处理就行了，虽然是麻烦了点，却是可以保证不对主线程造成影响；所以，从这个过程我们又了解到，在执行删除命令的时候，redis 会优先判断 key 是否已经过期，如果 已经过期且是主库，则按照过期键删除策略对 key 进行删除，然后还要将同步删除命令到 AOF文件 和 从节点。
详解 Redis 中 big keys 发现和解决
qq_42700121的博客
12-05 1718
在使用 Redis 时，可能会出现请求响应慢、网络卡顿、数据丢失的情况。排查问题的时候，发现是 big keys 的问题。在 Redis 中，一个字符串类型最大可以达到 512MB,其他非字符串类型的集合类型（list、set、hash、zset等）可以存储 40 亿个(2^32-1），但在实际业务场景中，并不需要这么大的内存。而且对于一个请求量大的互联网软件，对数据的大小要求更加的严格。如果达到如下标准，就可以认定是 big keys 了：一般来说,big keys 的产生都是由于程序的设计不当，或者对数
Redis 大 key 要如何处理？
小林coding
08-08 5196
大 key 并不是指 key 的值很大，而是 key 对应的 value 很大。String 类型的值大于 10 KB；Hash、List、Set、ZSet 类型的元素的个数超过 5000个；
Redis核心技术-性能-实战（查找bigKey、hotkey）
ALONG的博客
02-04 2512
bigkeys 是以 scan 延迟计算的方式扫描所有 key，因此执行过程中不会阻塞 redis，但实例存在大量的 keys 时，命令执行的时间会很长，这种情况建议在 slave 上扫描。–bigkeys 是 redis 自带的命令，对整个 Key 进行扫描，统计 string，list，set，zset，hash 这几个常见数据类型中每种类型里的最大的 key。等问题，这个时候就需要排查 Redis 的大key去优化业务了，下面提供一些排查方案总结。多大的 key 算大呢？如何查询key大小？
Redis-x64-3.0.504.msi.zip
09-15
- 使用"Redis-x64-3.0.504.msi"安装文件，用户可以遵循标准的MSI安装流程，包括接受许可协议、选择安装路径和配置选项。 - 安装完成后，Redis服务器将作为服务启动，可以通过Windows服务管理器进行控制。 - 默认...
Redis-x64-5.0.14.1.zip
06-12
例如，你可以使用`ping`命令检查服务器状态，`SET key value`命令存储数据，或`GET key`命令获取数据。 Redis支持多种数据类型，包括： - **字符串(Strings)**：基本数据类型，可以存储任何可序列化的值，如数字、...
Redis-x64-5.0.14 windows
05-04
本文将深入探讨Redis的基本概念、功能特性、安装与配置，以及在Windows平台上的使用方法。 Redis的核心概念包括键（key）、值（value）和数据类型。键是用于标识存储内容的唯一标识符，值则是键所关联的数据。Redis...
redis-bigkey-online
04-12
具体关于原redis是如何实现--bigkeys选项的以及此项目的具体实现细节，强烈推荐查看我写的文章（近12000字的详细介绍）：该工具因为是直接修改的源码，所以使用起来无需额外的工具，只需由原来的./redis-cli -h ...
redis-x64-7.0.4 for windows
09-01
5. **数据操作**：现在你可以开始使用Redis命令来插入、查询和操作数据，例如`SET key value`、`GET key`、`DEL key`等。 **注意事项：** 1. **权限与防火墙**：确保Redis的默认端口（通常是6379）没有被其他程序...
Redis 排查大 key 的3种方法，优化必备
LoveSummer
07-04 1万+
Redis 实践总结（仅供参考）：合理的 Key 中 Value 的字节大小，推荐小于 10 KB。过大的 Value 会引发数据倾斜、热点Key、实例流量或 CPU 性能被占满等问题，应从设计源头上避免此类问题带来的性能影响。那么 value Bytes > 10 kb 可以作为判断 大 key 的一个参考值。 是 redis 自带的命令，对整个 Key 进行扫描，统计 string，list，set，zset，hash 这几个常见数据类型中每种类型里的最大的 key。string 类型统计的是 valu
什么是Redis的BigKey，如何处理BigKey?
lovoo的博客
06-15 2758
Key本身的数据量过大：一个String类型的Key，它的值为5 MB。Key中的成员数过多：一个ZSET类型的Key，它的成员数量为10,000个。Key中成员的数据量过大：一个Hash类型的Key，它的成员数量虽然只有1,000个但这些成员的Value（值）总大小为100 MB。
Redis之bigkey问题解读
一个菜鸡的博客
09-01 1102
目录什么是bigkey？bigkey引发的问题如何查找bigkeyredis-cli --bigkeysMEMORY USAGEbigKey如何删除渐进式删除unlinkbigKey生产调优bigkey简单来说就是存储本身的key值空间太大，或者hash，list，set等存储中value值过多。具体来衡量的话大key是：可以通过redis客户端提供的命令 redis-cli --bigkeys来查看 好处：给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小 不足：想查询
redis快速查找bigkey
weixin_43531140的博客
06-15 924
redis中bigkey导致内存占用过大，如何快速定位到bigkey，并且返回key名称
Redis BigKey介绍
weixin_47531845的博客
09-27 1万+
一、什么是bigkey 在Redis中，一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际上中如果下面两种情况，我就会认为它是bigkey。 字符串类型：它的big体现在单个value值很大，一般认为超过10KB就是bigkey。 非字符串类型：哈希、列表、集合、有序集合，它们的big体现在元素个数太多。 二、危害 bigkey可以说就是Redis的老鼠屎，具体表现在： 1.内存空间不均匀 这样会不利于集群对内
Redis BigKey
wejack的专栏
01-04 932
文章系转载，方便整理和归纳，源文地址：https://zhuanlan.zhihu.com/p/259719757 一、什么是bigkey 在Redis中，一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际上中如果下面两种情况，我就会认为它是bigkey。 字符串类型：它的big体现在单个value值很大，一般认为超过10KB就是bigkey。 非字符串类型：哈希、列表、集合、有序集合，它们的big体现在元素个数太多.
Redis 如何处理大 Key
Linuxprobe18的博客
08-31 1679
所以，如果一下子释放了大量内存，空闲内存块链表操作时间就会增加，相应地就会造成 Redis 主线程的阻塞，如果主线程发生了阻塞，其他所有请求可能都会超时，超时越来越多，会造成 Redis 连接耗尽，产生各种异常。每次获取大 key 产生的网络流量较大，如果一个 key 的大小是 1 MB，每秒访问量为 1000，那么每秒会产生 1000MB 的流量，这对于普通千兆网卡的服务器来说是灾难性的。对于删除大 Hash，使用 hscan 命令，每次获取 100 个字段，再用 hdel 命令，每次删除 1 个字段。.
linux redis-cli使用
09-30
linux中可以使用redis-cli命令来使用Redis。你可以使用以下命令进行连接和使用： 1. 连接到Redis服务器： redis-cli -h <hostname> -p <port> -a <password> 其中，<hostname>是Redis服务器的主机名或IP地址，<port>是Redis服务器的端口号，<password>是认证密码（如果有的话）。 2. 发送Redis命令： 一旦连接到Redis服务器，你可以直接在命令行中输入Redis命令，例如： SET key value GET key 3. 获取命令帮助： 如果你需要查看Redis命令的帮助信息，可以使用以下命令： redis-cli --help redis-cli help @<category> redis-cli help <command> 其中，<category>是命令的分类（如generic、list、set等），<command>是具体的命令。 4. 退出redis-cli： 要退出redis-cli，可以使用以下命令： exit

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值