Redis的BigKey问题

最新推荐文章于 2024-11-04 20:00:00 发布
最新推荐文章于 2024-11-04 20:00:00 发布
阅读量534 收藏 7
点赞数 13
文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2303_77916679/article/details/136515674
版权
本文探讨了Redis中BigKey的概念，涉及其产生的原因（如社交类应用的粉丝列表），危害（内存不均、网络流量等），检测方法（Redis-cli--bigkeys），以及不同数据结构（如string、hash、list、set和zset）的处理建议。着重介绍了如何发现和删除BigKey，以及阿里云开发手册的指导。
摘要由CSDN通过智能技术生成

多大算big？

参照<<阿里云开发手册>>可知，String类型 >= 10kb 就是bigkey；list、hash、zset、set元素个数超过5000个就是bigkey

有哪些危害？

  • 内存不均，集群迁移困难；

  • 超时删除，大key删除惹的祸；

  • 网络流量阻塞。

如何产生？

举两个例子

  1. 社交类：某明星的粉丝列表，粉丝关注人数逐渐增多

  2. 汇总统计：某个报表，月积日累的积累

如何发现

  1. 在登陆的时候使用redis-cli --bigkeys命令，还可以加一个-i的参数，指定休眠时间，例如redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长

    • 好处

    • 给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小

    • 不足

    • 想查询大于10kb的所有key，--bigkeys参数就无能为力了，需要用到memory usage来计算每个键值的字节数

  2. 使用MEMORY USAGE命令

如何删除？

首先看一下<<阿里云的开发手册>>对这方面怎么说

  • string：一般用del，如果过于庞大使用unlink进行异步删除

  • hash：建议使用hscan每次获取少量field-value，再使用hdel删除每个field；接下来看看阿里手册建议删除方法的Java代码

  • list：使用ltrim渐进式逐步删除，直到全部删除完成；接下来是阿里手册的代码

  • set：使用sscan每次获取部分元素，再使用srem命令删除每个元素；老规矩，看阿里手册代码

  • zset：使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素；老规矩，上代码

LYT0905
关注
redis（16）：Redis的BigKey问题以及解决方案
u013938578的博客
05-29 278
在Redis中，每个Key都会对应一个Value，而这个Value的大小会影响Redis的性能表现。当我们存储的Value特别大时，就会出现BigKey问题。比如，在我们的互联网系统中，需要保存用户最新1万个粉丝的业务，或者一个用户的个人信息缓存，里面包括了基本资料、关系图谱计数、发feed统计等。这些数据量庞大，很容易就会成为BigKey。在实际应用中，比如微博的feed内容缓存，通常用户发表的微博在140字以内，但是也会有一些用户发表了1千字甚至更长的微博内容，这些长微博也就成了大key。
Redis BigKey问题
斌斌(Java)
10-08 1227
例如，如果需要频繁地查询某个范围内的元素，可以考虑使用有序集合（Sorted Set）而不是列表（List）。如果需要在网络上传输BigKey的数据（如主从复制、集群同步等），可能会导致网络传输延迟增加，影响系统的整体性能。例如，将一个大的列表拆分成多个小列表，或者将一个大的哈希表拆分成多个小哈希表。在进行RDB持久化或AOF日志备份时，BigKey会导致备份文件变得非常大，从而增加备份和恢复的时间。通过以上方法，可以有效地发现和解决Redis中的BigKey问题，提高系统的性能和稳定性。
Redis：Big Key问题
chuanchengdabing的博客
11-08 1612
Redis：Big Key问题 关键词 发现：（预估，redis-cli --bigkeys命令，rdbtools分析rdb生成csv文） 处理：（string减少字符串长度 [MongoDB或缓存到CDN] ；list、hash、set、zset等减少成员数；多线程删除unlink） 一、常见场景和大key的影响 大key指的是存储的值（Value）非常大，常见场景： 热门话题下的讨论 大V的粉丝列表 序列化后的图片 没有及时处理的垃圾数据 … 大key的影响： 大key会大量占用内存，在集群中
Redis Bigkey问题的解决思路与方式探索
架构文摘
11-20 1134
作者：vivo 互联网数据库团队- Du Ting在Redis运维过程中，由于Bigkey 的存在，会影响业务程序的响应速度，严重的还会造成可用性损失，DBA也一直和业务开发方强调 Bigkey 的规避方法以及危害。一、背景在Redis运维过程中，由于Bigkey的存在，会影响业务程序的响应速度，严重的还会造成可用性损失，DBA也一直和业务开发方强调 Bigkey 的规避方法以及危害，但是Bigk...
Redis中Big Key该如何解决？
echola_mendes的博客
08-16 1640
Redis的Big Key会给Redis带来的意想不到的危害，需要监控、及时发现和处理Big Key。在开发过程中需要选用适当的Redis数据结构开发业务，尽量避免big key。
redis bigkey 删除问题
wejack的专栏
01-04 1997
一、慢操作分析 redis 的慢操作已经有了，如果没有，我们可以自己去 redis 服务器查看历史的慢日志操作，或者有对应的慢操作监控系统也可以发现问题，这里不做展开。 接下来我们就要看一看为什么这么慢。 看了下项目中的实现代码，结合日志一分析，发现是一个 redis bigkey。 一个 redis key，对应的是一个 map, 里面防了几十万的 key/value。删除的时候一把直接删除，自然是慢的。 本文带大家一起分析下 redis bigkey 删除的解决方案，希望你工作中遇到类似问题提供一个解决
redis bigKey问题
weixin_45967584的博客
04-06 367
redis bigKey 大key
redis big key
veujs的博客
11-30 425
假设我们使用List数据结构保存某个明星/网红的粉丝，或者保存热点新闻的评论列表，因为粉丝数量巨大，热点新闻因为点击率、评论数会很多，这样List集合中存放的元素就会很多，可能导致value过大，进而产生Big Key问题。redis中这些value很大，在序列化和反序列化的过程中会花费很长的时间，因此再操作redis的Big Key的时候，通常就比较耗时，有可能导致redis发生阻塞，从而降低redis的性能。没有对无效数据进行定期清理，造成如HASH类型Key中的成员持续不断的增加。
Redis中什么是Big Key（大key）问题？如何解决Big Key问题？
热门推荐
weixiaohuai的博客
06-21 2万+
通俗易懂的讲，Big Key就是某个key对应的value很大，占用的redis空间很大，本质上是大value问题。key往往是程序可以自行设置的，value往往不受程序控制，因此可能导致value很大。redis中这些Big Key对应的value值很大，在序列化/反序列化过程中花费的时间很大，因此当我们操作Big Key时，通常比较耗时，这就可能导致redis发生阻塞，从而降低redis性能。用几个实际的例子对大Key的特征进行描述：● 一个String类型的Key，它的值为5MB（数据过大）； ● 一
Redis 中的BigKey问题
Kou920410454的博客
04-09 187
BigKey的具体表现是Redis中的key对应的value很大，很占空间，本质上是大value问题。对于Redis中不同的数据结构类型，举几个常见的例子：对于String类型的value，值超过10MB（数据值很大）；对于Set类型的value，含有成员数量为10000个（成员数量多）；对于List类型的value，含有成员数量为10000个（成员数量多）；对于Hash类型的value，含有的成员数量1000个，但所有成员变量的总value值大小为1000MB（成员总体积过大）；
redis的bigkey扫描脚本深入介绍
09-09
**Redis BigKey扫描脚本详解** 在Redis中，大键（BigKey）指的是那些占用大量内存的单一键值，它们可能会导致内存分配不均、内存碎片化，甚至影响Redis的性能。因此，定期扫描和管理BigKey对于优化Redis实例至关...
Redis big key
IMBA_09的博客
05-29 901
1、什么是 big key？ 对于不同的数据类型，big key 定义不同： 字符串类型：它的big体现在单个value值很大，一般认为超过10KB就是bigkey。非字符串类型：哈希、列表、集合、有序集合，它们的big体现在元素个数太多。建议把集合类型的元素个数控制在1万个以下。 2、 big key 的危害： 影响性能，容易产生阻塞。 在 Redis 基本 IO 模型中，主要是主线程在执行操作，任何耗时的操作，例如 bigkey、全量返回等操作，都是潜在的性能瓶颈。AOF 重写过程中：主进程 fo
redis BigKey
qq_44285141的博客
11-24 898
非字符串的bigkey，不要使用del删除，使用hscan、sscan、zscan方式渐进式删除，同时要注意防止bigkey过期时间自动删除问题(例如一个200万的zset设置1小时过期，会触发del操作，如果没有使用Redis 4.0的过期异步删除(lazyfree-lazy-expire yes)，就会存在阻塞Redis的可能性）唯一不同时，UNLINK在删除集合类键时，如果集合键的元素个数大于64个(详细后文），会把真正的内存释放操作，给单独的bio来操作。例如，对于列表，可以使用。
Redis-发布/订阅交互模式
sq2048935747@163.com的博客
10-31 380
消息代理”（Message Broker）是一种软件组件，它在不同的应用程序之间传递消息。在Redis的上下文中，消息代理的功能允许Redis作为一个中间人，帮助应用程序之间进行异步通信。具体来说，Redis支持发布/订阅（pub/sub）模式，这是一种消息传递机制，其中一个或多个发布者（publishers）发送消息到一个频道（channel），而订阅者（subscribers）监听这些频道以接收消息。
docker部署nginx+nacos+redis+java镜像和容器
xiaogg3678的专栏
11-01 868
docker部署nginx+nacos+redis+java镜像和容器
Redis ——发布订阅
weixin_62946182的博客
10-31 437
发布订阅：基于哈希表与链表结构实现 map结构key值保存用户订阅的兴趣事件，而value保存发布者对象信息，以链表的形式连接对同一事件感兴趣的对象，当消息队列中出现关于订阅事件的发布信息时，Redis可以快速的将该信息按照以key值对应的value链表为订阅的转发顺序；
Redis-基本全局命令
最新发布
ketil27的博客
11-04 198
Redis 有5种数据结构，但它们都是键值对种的值，对于键来说有⼀些通⽤的命令。返回所有满⾜样式（pattern）的key。⽀持如下统配样式。命令有效版本：1.0.0之后时间复杂度：O(N)返回值：匹配pattern的所有key。
用 Redis 查询 “附近的人”
周沐子
11-01 744
针对“附近的人”这一位置服务领域的应用场景，常见的可使用PG、MySQL和MongoDB等多种DB的空间索引进行实现。而Redis另辟蹊径，结合其有序队列zset以及geohash编码，实现了空间搜索功能，且拥有极高的运行效率。 本文将从源码角度对其算法原理进行解析，并推算查询时间复杂度。
解决 Hypack 安装不能正常运行的引导及微软 VC++ 运行库 VCRedist
中游鱼的博客
11-02 1048
解决 Hypack 安装不能正常运行的引导及微软 VC++ 运行库 VCRedist。 本文以 Hypack 2016 安装后无法正常运行为例。
redis bigkey
09-23
BigKey是指在Redis中占用较多内存的键。它会带来一些问题，比如网络阻塞、数据倾斜、Redis阻塞和CPU压力。网络阻塞是因为对BigKey执行读请求时，即使是少量的请求也可能占满带宽，导致Redis实例以及所在物理机变慢。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值