Redis EXISTS命令耗时过长case排查

最新推荐文章于 2024-06-13 20:57:41 发布
最新推荐文章于 2024-06-13 20:57:41 发布
阅读量1.9w 收藏 7
点赞数 1
分类专栏： C&C++ NoSQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chosen0ne/article/details/50543335
版权

一、背景

redis慢日志分析平台上线后，随便看了一下，发现onestore使用的缓存集群，存在大量的EXISTS命令慢查询的情况：


平均每个EXISTS命令需要13ms，最大耗时近20ms。这个结果很不科学啊，EXISTS命令只是执行一次hash查找操作，应该是us级别。

和相关同学了解业务背景如下：

- 业务是userfeed，存放用户发表的动态

- 使用zset存储一个用户发表的所有动态，key是用户id，集合中对应的是feedid。如果用户发表的动态很多，zset也很大

- redis集群作为onestore的缓存，过期时间是10分钟

最低0.47元/天 解锁文章
chosen0ne
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
什么是redis基本命令以及学习redis基本命令的意义
06-08
### 什么是Redis基本命令 Redis（Remote Dictionary Server）是一种开源的、高性能的键值存储系统。它支持多种数据结构如字符串、散列、列表、集合等，并提供了丰富的命令集来进行数据的操作与管理。Redis的基本...
REDIS中意外的耗时命令-DEL-EXISTS
fanjunjaden的博客
06-23 3699
在排查Redis耗时的过程中发现大量的EXISTS命令耗时很长。很意外，印象中感觉这个这个命令应该是很快执行完的。随后了解到 1. Redis中DEL命令的时间复杂度对于字符串和哈希值而言是O(1)，而对于list、set和sorted set而言则是O(N) （这里的 N 是集合中数据项的数目）。所以对于大集合key，DEL命令会很耗时。 2. 在EXISTS命令处理函数中实现了清除过期ke
Redis——exists有可能超出你的预期
李豆豆的博客
07-20 7880
Redis的Exists有可能超出你的预期 理论上每个key都应该有过期时间（当然也可以是一万年），通常情况下用exists来判断一个key是否存在都没什么问题（一般过期时间都比较长）。但如果过期时间需要精确到秒或十秒及，那么exists就会出乎你的意料。 Redis过期键删除策略 Redis key过期的方式有三种： 被动删除：当读/写一个已经过期的key时，会触发惰性删除策略，直接删...
Redis大Key问题的解决方案
最新发布
m0_64469199的博客
06-13 688
Redis中某些键（key）所对应的值（value）特别大，或者集合类数据结构（如hash、set、zset、list）中存储的元素数量过多，这就是大Key问题。具体大小标准依据业务场景不同而有所变化，一般认为在普通业务场景下，如果单个String类型的value大于1MB，或者在高并发低延迟场景中大于10KB，就可能被视为大Key。
面试官：Redis 为什么变慢了？怎么解决？
2301_78586758的博客
07-26 225
这个判断依据就是在master上维护的复制缓冲区大小，如果这个缓冲区配置的过小，很有可能在主从断开复制的这段时间内，master产生的写入导致复制缓冲区的数据被覆盖，重新建立同步时的slave需要同步的offset位置在master的缓冲区中找不到，那么此时就会触发全量同步。但是请注意，主进程在拷贝内存数据时，这个阶段就涉及到新内存的申请，如果此时操作系统开启了内存大页，那么在此期间，客户端即便只修改 10B 的数据，Redis 在申请内存时也会以 2MB 为单位向操作系统申请，申请内存的耗时变长，
redis 哈希表(Hash)
wangjinxiang1的专栏
11-15 617
HSET HSET key field value 将哈希表key中的域field的值设为value。 如果key不存在，一个新的哈希表被创建并进行HSET操作。 如果域field已经存在于哈希表中，旧值将被覆盖。 返回值： *如果field是哈希表中的一个新建域，并且值设置成功，返回1。 如果哈希表中域field已经存在且旧值已被新值覆盖，返回0。*redis> HSET websi
详谈redis命令之散列（HASH）
小新Kelvin
09-18 835
一、前言 散列（HASH）在《详谈redis数据结构》中也介绍过，是以键值对存储的无序的数据结构，如果对散列（HASH）不太熟悉的读者可以回头去仔细读一遍。本文将讲述HASH的一些常用命令，包括添加、删除、获取、自增、自减等操作。 二、HASH命令 2.1 HSET HSET全称hash set 关联键值对，返回“1”表示成功，“0”表示失败 System.out.println(conn.hset("hash-key","name","Kelvin")); 将“name”–“Kelvin”这样的键值对
redis常用命令整理
01-21
（4）exists key：判断某个key是否存在 （5）del key：删除key FLUSHALL: 删除所有key（慎用） 二、数据操作： Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及 zset(sorted ...
redis基本命令-封装redis常用基本命令.zip
06-06
封装redis常用基本命令.zip封装redis常用基本命令.zip封装redis常用基本命令.zip封装redis常用基本命令.zip封装redis常用基本命令.zip封装redis常用基本命令.zip封装redis常用基本命令.zip封装redis常用基本命令.zip...
redis实用命令大全
06-08
redis命令实践、实用命令大全。 markdown文本，请使用vscode等代码编辑器查看！！！
redis命令大全
04-21
一、keys 命令 二、string字符串命令 三、hash 命令 四、list列表命令 五、set集合命令 六、sorted set有序集合命令 七、HyperLogLog 命令 八、发布订阅命令 九、事务命令 十、脚本命令 十一、连接命令 十二、服务器...
Redis 的常见问题及解决方案
勤劳的小琪
03-28 630
*解决方案：**定期监控和分析 Redis 的内存使用情况，根据数据的热度和访问模式，合理设置数据的过期时间和淘汰策略。**解决方案：**提前进行容量规划，根据业务需求和数据增长趋势，预估并适时扩展 Redis 的硬件资源。**解决方案：**制定定期的数据备份策略，将 Redis 中的数据备份到可靠的存储介质中。**7、容量规划问题：**随着业务的增长，Redis 可能需要扩展容量以应对更多的数据和并发访问。**6、数据备份和恢复问题：**数据的备份和恢复是确保数据可靠性的重要环节。
Redis命令时间复杂度（redis的命令也要慎用啊）
wf_feng的博客
11-24 5039
我们先看Redis的几个常见命令时间复杂度： keys * 返回所有的key，keys命令最好不要在生产环境用，会全局遍历，会很慢，要堵塞其他命令。 dbsize 显示一共有几个key，这个可以在生产用，不会全局遍历 exists keyname 查看key是否存在，存在返回1，不存在返回0 del kename 删除key 成功返回1，失败返回0。可以删除多个。 expire keyname seconds 为key设置过期时间,秒级 ttl keyname 查询key的过期时间，如果返回
Redis介绍、安装、基础命令
qq_57377057的博客
09-28 922
Redis基于内存运行并支持持久化采用key-value（键值对）的存储形式Redis是一个开源的、使用C语言编写的NoSQL数据库Redis基于内存运行并支持持久化，采用key-value（键值对）的存储形式，是目前分布式架构中不可或缺的一环Redis服务程序是单进程模型，也就是在一台服务器上可以同时启动多个Redis进程，Redis的实际处理速度则完全依赖于主进程的执行效率。若在服务器上只运行一个Redis进程，当多个客户端同时访问时，服务器的处理能力是会有一定程度的下降。
NoSQL之 Redis配置与优化
热门推荐
挣钱买索尼
02-23 1万+
NoSQL之 Redis配置与优化关系数据库与非关系型数据库关系型数据库和非关系型数据库区别:Redis简介Redis 安装部署Redis 命令工具Redis 数据库常用命令Redis 高可用Redis 持久化RDB 持久化AOF 持久化RDB和AOF的优缺点Redis 性能管理 关系数据库与非关系型数据库 ●关系型数据库： 关系型数据库是一个结构化的数据库，创建在关系模型（二维表格模型）基础上，一般面向于记录。 SQL 语句（标准数据查询语言）就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的
记一次redis卡死过程
小高工作室
07-26 325
后端代码是laravel，但是引用了laravels这个扩展，并且涉及到redis的操作都是报连接数占用满的报错。这个问题还是没解决，我们的解决方案只是在崩的时候自动重启。看数据传输的方向，如果是服务器下载数据库的数据，这对于服务器来说是从公网下载数据，也就是对于服务器来说的入带宽；如果是从服务器往数据库传数据，这个对于服务器来说是往公网上传出去数据，也就是对于服务器来说是出带宽。这个pid僵死之后，work进程没有得到释放，有多个用户进来，就会生成多个work进程，直到进程数耗尽。
Redis变慢的五大原因以及排查方法
skye_fly的博客
08-29 1万+
一、 慢操作五大原因 如下图所示，主要分为与操作系统相关以及与Redis集群实例之间与内部相关两个方面 1. Redis实例之间以及内部数据传输阻塞（客户端、磁盘、主从通信、切片集群通信） 解决方法 — 主从集群时，限制主库RDB文件大小。 2. 多CPU多核架构（绑核，绑CPU） 解决方法—绑核绑CPU。 3. sql语句执行阻塞（慢查询、过期key） 解决方法—避免慢查询指令、客户端做聚合、对key设置不同的过期时间、使用异步线程删除bigkey。 4. AOF文件系统，RDB大内存页（A
Redis——有时候expire比exists更好用
李豆豆的博客
08-23 1099
参考文章——简书 什么情况下expire比exists更好？ 前提 redis key过期时间必须设置（特殊需求除外），但是如果DB的值有变动会主动更新到redis，所以不会有数据不同步的情况。 场景 每次都需要判断某个key是否存在，然后才能执行相应的操作。 问题 最坏情况下，代码在执行exists时key是有效的，后面对key进行操作时，发现在那两行代码执行的中间，key被清掉了。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值