11、BigKey

最新推荐文章于 2024-05-23 03:39:33 发布

princeAladdin

最新推荐文章于 2024-05-23 03:39:33 发布

阅读量150

点赞数

分类专栏： Redis 文章标签： redis

本文链接：https://blog.csdn.net/weixin_45817985/article/details/132319579

版权

Redis 专栏收录该内容

25 篇文章 0 订阅

订阅专栏

BigKey

阿里广告平台，海量数据里查询某一固定前缀的key
小红书，你如何生产上限制keys */flushdb/flushall等危险命令以防止误删误用？
美团，MEMORY USAGE 命令你用过吗？
BigKey问题，多大算big？你如何发现？如何删除？如何处理？
BigKey你做过调优吗？惰性释放lazyfree了解过吗?
Morekey问题，生产上redis数据库有1000W记录，你如何遍历？key *可以吗?
Morekey问题，生产上redis数据库有1000W记录，你如何遍历？key *可以吗?

2、MoreKey案例
大批量往redis里面插入2000W测试数据key
Linux Bash下面执行，插入100W
在这里插入图片描述

生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中

for((i=1;i<=100*10000;i++)); do echo “set k $i v$ i” >> /tmp/redisTest.txt ;done;

通过redis提供的管道–pipe命令插入100W大批量数据
结合自己机器的地址：

cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe
多出来的5条，是之前的其它测试数据，100w数据插入redis花费5.8秒左右
在这里插入图片描述

某快递巨头真实生产案例新闻
在这里插入图片描述
keys * 你试试100W花费多少秒遍历查询

key * 这个指令有致命的弊端，在实际环境中最好不要使用

生产上限制keys */flushdb/flushall等危险命令以防止误删误用？
通过配置设置禁用这些命令，redis.conf在SECURITY这一项中
在这里插入图片描述

*不用keys 避免卡顿，那该用什么
scan命令登场，一句话，类似mysql limit的但不完全相同

Scan 命令用于迭代数据库中的数据库键
在这里插入图片描述

CAN 命令是一个基于游标的迭代器，每次被调用之后，都会向用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数，以此来延续之前的迭代过程。

SCAN 返回一个包含两个元素的数组，
第一个元素是用于进行下一次迭代的新游标，
第二个元素则是一个数组，这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN的遍历顺序
非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。
在这里插入图片描述
3、BigKey案例

多大算Big
在这里插入图片描述

可以容纳和大小判定不等价

哪些危害

内存不均，集群迁移困难
超时删除，大key删除作梗
网络流量阻塞

如何产生

社交类，如王心凌粉丝列表，典型案例粉丝逐步递增
汇总统计，如某个报表，月日年经年累月的积累

如何发现

redis-cli --bigkeys
好处，见最下面总结
给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小
不足
想查询大于10kb的所有key，–bigkeys参数就无能为力了，需要用到memory usage来计算每个键值的字节数

在这里插入图片描述

MEMORY USAGE 键：计算每个键值的字节数

如何删除

普通命令

String：一般用del，如果过于庞大unlink
hash：使用hscan每次获取少量field-value，再使用hdel删除每个field
在这里插入图片描述

list：使用ltrim渐进式逐步删除，直到全部删除完成

set：使用sscan每次获取部分元素，再使用srem命令删除每个元素

zset：使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素

BigKey生产调优
redis.conf配置文件LAZY FREEING相关说明