关于Redis的BigKey

已于 2023-04-13 22:55:58 修改
阅读量856 收藏 1
点赞数 1
分类专栏： redis 文章标签： redis 数据库 缓存
于 2023-04-13 22:53:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jiaodaqiaobiluo/article/details/130141489
版权

文章目录

准备

往redis里插入2000万测试数据key

# 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中
for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;

通过redis提供的管道 --pipe命令插入100万大批量数据
cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

查看数据量大小

redis-cli dbsize

keys * 等命令的危害与避免

这个指令没有offset，limit参数，是要一次性吐出所有满足条件的key，由于redis是单线程的，其所有操作都是原子性的，而keys算法是遍历算法，时间复杂度是n，如果哦实例中有千万级别以上的key，这个指令就会导致redis服务卡顿，所有读写Redis的指令就会被延后甚至超时，可能引起缓存雪崩甚至数据库宕机。

生产上限制keys *，flushdb，flushall等危险命令以防止误删误用？
配置中设置禁用命令即可
在这里插入图片描述
在这里插入图片描述

不用keys * ，应该用什么

使用Scan命令，用于迭代数据库中的数据库键。
SCAN cursor定义：
基于游标的迭代器，需要基于上一次的游标延续之前的迭代过程，以0作为游标开始一次新的迭代，直到命令返回游标0完成一次遍历，不保证每次执行都返回某个给定数量的元素，支持模糊查询，一次返回的数量不可控，只是大概率符合count参数。
在这里插入图片描述
SCAN 命令是一个基于游标的迭代器，每次被调用之后， 都会向用户返回一个新的游标， 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数， 以此来延续之前的迭代过程。

SCAN 返回一个包含两个元素的数组：

  • 第一个元素是用于进行下一次迭代的新游标，
  • 第二个元素则是一个数组， 这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN的遍历顺序：
非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。
在这里插入图片描述

BigKey

阿里云Redis开发规范

拒绝BigKey防止网卡流量，慢查询。

  • String类型控制在10kb以内，hash，list，set，zset元素个数不用超过5000
  • 非字符串的BigKey不要使用del删除，使用hscan，sscan，zscan方式渐进式删除，同时注意防止BigKey过期时间自动删除（类似100万的zset设置固定时间过期，会触发del操作造成堵塞，而且该操作不会出现在慢查询中）

多大算Big

String是value，最大512MB但是大于等于10KB就是BigKey
list，hash，set，zset，个数超过5000就是BigKey

危害

  • 内存不均匀，集群迁移困难
  • 超时删除，大key阻塞
  • 网络流量阻塞

怎么产生的？

比如汇总统计，某个报表日积月累的积累
比如粉丝列表，粉丝越来越多

怎么发现BigKey

redis-cli --bigkeys
给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小,但是想查询大于10kb的所有key，–bigkeys参数就无能为力了。
每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长
redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1
在这里插入图片描述

解决查看大于10kb的所有key，需要用到memory usage来计算每个键值的字节数。
MEMORY USAGE命令给出一个key和它的值在RAM中所占用的字节数。返回的结果是key的值以及为管理该key分配的内存总字节数。
对于嵌套数据类型，可以使用选项SAMPLES，其中count表示抽样的元素个数，默认值为5。==当需要抽样所有元素时，使用SAMPLES 0 ==。

MEMORY USAGE key [SAMPLE count]

怎么删除

String类型

一般用于del，如果过于庞大unlink（非阻塞式删除）

使用hscan每次获取少量field-value，再使用hdel删除每个field

HSCAN key cursor
在这里插入图片描述
hscan + hdel
在这里插入图片描述

使用ltrim渐进式逐步删除，直到全部删除完成

LTRIM KEYNAME START STOP
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

使用sscan每次获取部分元素，再使用srem命令删除每个元素

在这里插入图片描述
在这里插入图片描述

使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素

在这里插入图片描述
在这里插入图片描述

生产调优

redis.conf配置文件LAZY FREEING相关说明
在这里插入图片描述
在这里插入图片描述

龙崎流河
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Redis BigKey介绍
weixin_47531845的博客
09-27 1万+
一、什么是bigkey 在Redis中，一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际上中如果下面两种情况，我就会认为它是bigkey。 字符串类型：它的big体现在单个value值很大，一般认为超过10KB就是bigkey。 非字符串类型：哈希、列表、集合、有序集合，它们的big体现在元素个数太多。 二、危害 bigkey可以说就是Redis的老鼠屎，具体表现在： 1.内存空间不均匀 这样会不利于集群对内
Redis中什么是Big Key（大key）问题？如何解决Big Key问题？
热门推荐
weixiaohuai的博客
06-21 2万+
通俗易懂的讲，Big Key就是某个key对应的value很大，占用的redis空间很大，本质上是大value问题。key往往是程序可以自行设置的，value往往不受程序控制，因此可能导致value很大。redis中这些Big Key对应的value值很大，在序列化/反序列化过程中花费的时间很大，因此当我们操作Big Key时，通常比较耗时，这就可能导致redis发生阻塞，从而降低redis性能。用几个实际的例子对大Key的特征进行描述：● 一个String类型的Key，它的值为5MB（数据过大）； ● 一
什么是Redis的BigKey，如何处理BigKey?
lovoo的博客
06-15 2771
Key本身的数据量过大：一个String类型的Key，它的值为5 MB。Key中的成员数过多：一个ZSET类型的Key，它的成员数量为10,000个。Key中成员的数据量过大：一个Hash类型的Key，它的成员数量虽然只有1,000个但这些成员的Value（值）总大小为100 MB。
redis big key
veujs的博客
11-30 375
假设我们使用List数据结构保存某个明星/网红的粉丝，或者保存热点新闻的评论列表，因为粉丝数量巨大，热点新闻因为点击率、评论数会很多，这样List集合中存放的元素就会很多，可能导致value过大，进而产生Big Key问题。redis中这些value很大，在序列化和反序列化的过程中会花费很长的时间，因此再操作redis的Big Key的时候，通常就比较耗时，有可能导致redis发生阻塞，从而降低redis的性能。没有对无效数据进行定期清理，造成如HASH类型Key中的成员持续不断的增加。
详解 Redis 中 big keys 发现和解决
qq_42700121的博客
12-05 1720
在使用 Redis 时，可能会出现请求响应慢、网络卡顿、数据丢失的情况。排查问题的时候，发现是 big keys 的问题。在 Redis 中，一个字符串类型最大可以达到 512MB,其他非字符串类型的集合类型（list、set、hash、zset等）可以存储 40 亿个(2^32-1），但在实际业务场景中，并不需要这么大的内存。而且对于一个请求量大的互联网软件，对数据的大小要求更加的严格。如果达到如下标准，就可以认定是 big keys 了：一般来说,big keys 的产生都是由于程序的设计不当，或者对数
redis的bigkey扫描脚本深入介绍
09-09
**Redis BigKey扫描脚本详解** 在Redis中，大键（BigKey）指的是那些占用大量内存的单一键值，它们可能会导致内存分配不均、内存碎片化，甚至影响Redis的性能。因此，定期扫描和管理BigKey对于优化Redis实例至关...
redis-bigkey-online
04-12
redis-bigkey-online项目简介redis自带的--bigkeys选项只能输出6种数据类型top1的一个key。自己修改了--bigkeys相关的源码，满足用户想输出前N个bigkey、自定义bigkey阈值等需求。具体关于原redis是如何实现--...
redis中热key问题该如何解决
01-19
引言 讲了几天的数据库系列的文章，...ps: hot key和big key问题，大家一定要有所了解。 本文预计分为如下几个部分 热key问题 如何发现 业内方案 正文 热Key问题 上面提到，所谓热key问题就是，突然有几十万的请
阿里巴巴Redis使用规范
04-14
bigkey是Redis中的一个性能瓶颈，阿里巴巴建议避免使用bigkey，使用紧凑型数据结构来节省内存空间。 规范三：使用高效序列化方法和压缩方法 阿里巴巴建议使用高效的序列化方法和压缩方法来减少value的大小，例如...
Redis BigKey
wejack的专栏
01-04 932
文章系转载，方便整理和归纳，源文地址：https://zhuanlan.zhihu.com/p/259719757 一、什么是bigkey 在Redis中，一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际上中如果下面两种情况，我就会认为它是bigkey。 字符串类型：它的big体现在单个value值很大，一般认为超过10KB就是bigkey。 非字符串类型：哈希、列表、集合、有序集合，它们的big体现在元素个数太多.
Redis之bigkey问题解读
一个菜鸡的博客
09-01 1117
目录什么是bigkey？bigkey引发的问题如何查找bigkeyredis-cli --bigkeysMEMORY USAGEbigKey如何删除渐进式删除unlinkbigKey生产调优bigkey简单来说就是存储本身的key值空间太大，或者hash，list，set等存储中value值过多。具体来衡量的话大key是：可以通过redis客户端提供的命令 redis-cli --bigkeys来查看 好处：给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小 不足：想查询
Redis之bigkey
qi341500的博客
01-15 1568
1、什么是bigkey？ 2、bigkey大的小 3、bigkey有哪些危害？ 4、bigkey如何产生？ 5、bigkey如何发现？ 6、bigkey如何删除？ 7、BigKey调优，惰性释放lazyfree 8、生产上限制keys * /flushdb/flushall等危险命令防止误删误用 9、SCAN命令
Redis的big key问题介绍以及监控手段
hbnn111的专栏
02-01 1474
Redis 的big key是指value占用内存空间较大的键值。通常，针对不同的数据类型会用元素个数或者占用空间大小来衡量bigKey：String：value占用空间超过5MB（实际使用避免超过1MB）；集合(list，set，zset）：成员数量超过1万个（实际使用避免超过2000个）；hash：field成员个数1000个，但value总大小超过100M（实际避免超过10MB)；
Redis的BigKey
Swallow_A的博客
04-10 217
key 这个指令有致命的弊端，在实际环境中最好不要使用这个指令没有 offset、limit 参数，是要一次性吐出所有满足条件的 key，由于 redis 是单线程的，其所有操作都是原子的，而 keys 算法是遍历算法，复杂度是 O(n)，如果实例中有千万级以上的 key，这个指令就会导致 Redis 服务卡顿，所有读写 Redis 的其它的指令都会被延后甚至会超时报错，可能会引起缓存雪甚至数据库宕机。
redis Big key (俗称大key)
再见天涯
03-10 3938
bigKey
Redis：Big Key问题
chuanchengdabing的博客
11-08 1585
Redis：Big Key问题 关键词 发现：（预估，redis-cli --bigkeys命令，rdbtools分析rdb生成csv文） 处理：（string减少字符串长度 [MongoDB或缓存到CDN] ；list、hash、set、zset等减少成员数；多线程删除unlink） 一、常见场景和大key的影响 大key指的是存储的值（Value）非常大，常见场景： 热门话题下的讨论 大V的粉丝列表 序列化后的图片 没有及时处理的垃圾数据 … 大key的影响： 大key会大量占用内存，在集群中
聊一聊Redis大key（是什么？怎么处理？如何优化？）
最新发布
qq_63815371的博客
04-12 748
Redis大Key其实并不是字面意思，不是指存储在Redis中的某个Key的大小超过一定的阈值，而是指该Key所对应的value过大。对于string类型来说，一般情况下超过10KB则认为是大Key，对于set，zset，hash等类型来说，一般数据超过5000条即认为是大Key。当Redis存储的Key过大时，会对Redis的性能产生负面影响，如内存使用率过高、写入和读取数据的速度变慢等。
Redis原理之BigKey和热点Key
yangyanping20108的博客
06-03 1080
BigKey bigKey 是指key 对应的value 所占的内存空间比较大，例如一个字符串类型的value 可以最大存储到512MB，一个列表类型的value 最多可以存储 2
第十三章_Redis中的BigKey
sinat_31583645的博客
05-10 762
其次，对于同时删除多个 key 的需求，在主动删除的场景下，我们其实是有办法的 -- 分批删除，比如对于一个大的集合，我们可以通过 scan 以循环的方式每次扫描 100 个键然后删除，对于多个 key 的删除，就直接按 key 分批处理就行了，虽然是麻烦了点，却是可以保证不对主线程造成影响；所以，从这个过程我们又了解到，在执行删除命令的时候，redis 会优先判断 key 是否已经过期，如果 已经过期且是主库，则按照过期键删除策略对 key 进行删除，然后还要将同步删除命令到 AOF文件 和 从节点。
redis bigkey
09-23
BigKey是指在Redis中占用较多内存的键。它会带来一些问题，比如网络阻塞、数据倾斜、Redis阻塞和CPU压力。网络阻塞是因为对BigKey执行读请求时，即使是少量的请求也可能占满带宽，导致Redis实例以及所在物理机变慢。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

龙崎流河

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值