redistemplate set方法_RedisTemplate的踩坑现场

最新推荐文章于 2024-09-11 15:19:12 发布
最新推荐文章于 2024-09-11 15:19:12 发布
阅读量2.3k 收藏
点赞数
文章标签： redistemplate set方法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33600376/article/details/113315734
版权
本文讲述了在使用RedisTemplate时遇到的set方法导致的集群异常，问题表现为大量`cluster`命令和`psetex`命令，影响性能。通过监控和代码分析，发现`psetex`与`cluster nodes`命令关联，由于Spring Data Redis的缓存过期时间设计，导致频繁触发`cluster nodes`更新。解决方案是将过期时间改为秒级，减少`psetex`使用，从而避免异常。改进后的验证表明问题得到解决。
摘要由CSDN通过智能技术生成

e6e1b2e1a625cf54dff3474973d0f011.png
张伟帆（网易严选技术团队）
RedisTemplate是Spring封装的一个最常用的redis数据访问工具类，功能强大，使用简洁。但在RedisTemplate看似简单的API下，也是暗流涌动，背后别有一番洞天。本文从一个线上性能问题入手，抽丝剥茧一步步探索RedisTemplate，挖出了RedisTemplate操作psetex命令的深坑。

一、背景

在之前的压测过程中，商详页面RT居高不下，发现yx_malltech_user这个redis集群的异常报警，起初是在业务没有开启分流读的情况下，一个Redis集群slave节点存在大量连接，占用大量CPU资源，且导致redis主从断掉等异常行为。

dba分析后发现，从数据库实时监控平台，可以看到有大量的cluster命令产生，且这个请求一直存在，只是压测流量过大，导致问题放大，单个cluster命令请求都是在30毫秒以上。都是打到随机一个NODE节点上，导致这个节点cpu飙升。

然后DBA开始相应的处理，包括但不限于单独隔离异常节点到独立机器上，配置参数优化等，问题没有根本解决。可以确定不是Redis服务端问题，应该是业务代码端问题，需要从业务用法开始排查使用方式，看是如何触发了大量的cluster命令。

6.9单压商详发现问题还是存在。开始我们的排查之路。

二、服务信息

  • 涉及服务：yanxuan-app
  • 涉及场景：商详
  • spring版本：4.0.8
  • spring-data-redis版本：1.8.4.RELEASE
  • jedis版本：2.9.0

三、分析过程

1. 监控观察

既然是cluster命令异常过多，我们观察下监控数据。 6.9号下午对于商详的单压

b20250b234e57171dfbc75765639a842.png

可以看到cluster命令确实过多，且

最低0.47元/天 解锁文章
jx song
关注
Spring Boot进阶(63)：「超详细」利用 Redis 实现高效延时队列：踩坑、优化、实践
**My Coding Family**
08-31 3529
这篇文章分享了作者在使用 Redis 实现延时队列的过程中所遇到的坑和优化经验。作者首先介绍了 Redis 的有序集合数据结构，以及如何利用有序集合作为延时队列的底层实现。接着，作者分享了在实践中遇到的一些问题，例如服务宕机重启后需要重新拉取超时任务，任务过多导致 Redis 内存占用过高等。最后，作者给出了对延时队列的优化建议，例如采用批量删除任务和使用多个 Redis 实例来分散负载等。整篇文章结合了理论和实践，对于想要使用 Redis 实现高效延时队列的开发者来说是一份很有价值的参考资料。
Redis Pipeline实战及序列化问题避坑，Redis List，Set实战，缓存需要更新怎么解决缓存击穿？一文带你进阶Redis使用！
weixin_45929082的博客
06-18 1352
前言 这是一遍夹杂了很多内容的博文，不专攻哪一点技术，主要是还是以实战综合运用为主！！！ 业务场景： 类似于下图的这种小程序投票排行榜的场景！！！ 先进行分析 第一能够投票的爱豆很多，切需要排名 第二对于投票数据的需要进行统计，部分爱豆票数的量过于巨大 第三用户使用这个小程序，一进来的主页面就是这个排行榜，作为一个热点数据 综合分析下来：1.我们要使用缓存，票数不可能实时刷新对服务的压力太大2.使用缓存来展示数据，那么数据在更新的过程中，缓存失效了怎么保证，缓存不被击穿，直接打到我们数据库导致db挂掉.
RedisTemplate的踩坑现场
网易技术热爱者
11-02 4448
RedisTemplate是Spring封装的一个最常用的redis数据访问工具类，功能强大，使用简洁。但在RedisTemplate看似简单的API下，也是暗流涌动，背后别有一番洞天。本文从一个线上性能问题入手，抽丝剥茧一步步探索RedisTemplate，挖出了RedisTemplate操作psetex命令的深坑。
java定时器只执行一次_Java 如何优雅的实现时间控制
weixin_39684995的博客
11-26 2003
一：时间控制的几种方案二：redis三：总结《Java 2019 超神之路》《Dubbo 实现原理与源码解析 —— 精品合集》《Spring 实现原理与源码解析 —— 精品合集》《MyBatis 实现原理与源码解析 —— 精品合集》《Spring MVC 实现原理与源码解析 —— 精品合集》《Spring Boot 实现原理与源码解析 —— 精品合集》《数据库实体设计合集》《Java 面试题 ——...
RedisTemplateAPI操作Set的API
最新发布
长安初雪的博客
09-11 919
Redis的Set结构与Java中的HashSet类似，可以看做是一个value为null的HashMap。因为也是一个hash表，因此具备与HashSet无序元素不可重复查找快支持交集.并集.差集等功能。
redis过期策略功能介绍
weixin_43241706的博客
11-02 565
我们在使用redis时，一般会设置一个过期时间，当然也有不设置过期时间的，也就是永久不过期。 当我们设置了过期时间，redis是如何判断是否过期，以及根据什么策略来进行删除的。 设置过期时间 我们set key的时候，可以给一个expire time，就是过期时间，指定这个key比如说只能存活一个小时，假设你设置一批key存活一小时，那么接下来一小时后，redis是如何对这批key进行删除的？ 答案是：定期删除+惰性删除。 所谓定期删除是指redis默认每隔100ms就随机抽取一些设置了过期时间的key
redistemplate.opsforhash设置过期时间_【PHP】Redis的内存过期与淘汰策略是如何工作的？你还不知道？...
weixin_39935319的博客
12-08 1662
Redis 内存回收机制Redis 的内存回收主要围绕以下两个方面：1.Redis 过期策略:删除过期时间的 key 值2.Redis 淘汰策略:内存使用到达 maxmemory 上限时触发内存淘汰数据Redis 的过期策略和内存淘汰策略不是一件事，实际研发中不要弄混淆了，下面会完整的介绍两者。Redis过期策略过期策略通常有以下三种：1.定时过期每个设置过期时间的 key 都需要创建一个定时器，...
Redis入门到通关之Set命令
莫等闲 白了少年头 空悲切
04-15 651
Redis的Set结构与Java中的HashSet类似，可以看做是一个value为null的HashMap。因为也是一个hash表，因此具备与HashSet无序元素不可重复查找快支持交集.并集.差集等功能。
使用lettuce和redisTemplate操作redis cluster踩坑日记
敲代码真难呀。。
11-25 6691
环境：虚拟机3主3从 1、关闭slave是对读写都没有影响的 2、关键就是关闭master,读写都会失败 虽说可以设置lettuce的拓扑自动更新，但是redis的slave变成master是需要时间的 在这段时间内的读写都无法进行,异常-->【connection refused】 等到slave变成了master,读写才会恢复,但是依然会报警告,无法连接到xxx，哎... 找了...
SpringBoot里实现幂等性有几种方法？看完这篇就不会再踩坑了
wdj_yyds的博客
04-30 1229
来源：mydlq.club/article/94/ 一、什么是幂等性 二、什么是接口幂等性 三、为什么需要实现幂等性 四、引入幂等性后对系统的影响 五、Restful API 接口的幂等性 六、如何实现幂等性 方案一：数据库唯一主键 方案二：数据库乐观锁 方案三：防重 Token 令牌 方案四、下游传递唯一序列号 七、实现接口幂等示例 1、Maven 引入相关依赖 2、配置连接 Redis 的参数 3、创建与验证 Token 工具类 4、创建测试...
【Spring boot】RedisTemplate中String、Hash、List设置过期时间
番茄Salad
03-21 6009
时间类型：TimeUnitTimeUnit.SECONDS:秒TimeUnit.MINUTES：分TimeUnit.HOURS：时TimeUnit.DAYS：日TimeUnit.MILLISECONDS：毫秒TimeUnit.MILLISECONDS：微秒TimeUnit.NANOSECONDS：纳秒。
redistemplate.opsforhash设置过期时间_实战解析朝生暮死的Redis拓展应用—过期策略和LRU，继续强化学习...
weixin_39633171的博客
12-01 2798
今天，我们继续Redis的拓展应用，继续深化了解、强化学习效果。拓展 4：朝生暮死 —— 过期策略 Redis 所有的数据结构都可以设置过期时间，时间一到，就会自动删除。你可以想象 Redis 内部有一个死神，时刻盯着所有设置了过期时间的 key，寿命一到就会立即收割。你还可以进一步站在死神的角度思考，会不会因为同一时间太多的 key 过期，以至于忙不过来。同时因为 Redis 是单线程的，收割的...
spring RedisTemplate set
zy1404的专栏
06-22 454
spring RedisTemplate set 场景： 数据库中有百万条酒店记录，我需要从上游全量同步一次结果，需要找出以下三种数据 新增：上游有，本地没有 修改：上游和本地都有 删除：本地有，上游没有 思路： 1.把数据库中百万条酒店的iD，同步到Redis的set 中 2.批量处理上游数据，比如一次处理100条上游记录，然后判断出这100个酒店ID是否在Redis 中从而区分出 哪些新增，哪些变更 3.把第二步中的100个酒店ID 从set 中移除出去 4.处理完上游，Redis的set 中剩余的
RedisTemplate和StringRedisTemplate的区别
weixin_30613343的博客
05-30 210
RedisTemplate和StringRedisTemplate的区别： 1. 两者的关系是StringRedisTemplate继承RedisTemplate。 2. 两者的数据是不共通的；也就是说StringRedisTemplate只能管理StringRedisTemplate里面的数据，RedisTemplate只能管理RedisTemplate中的数据。 3. SDR默认采用的序...
RedisTemplate访问Redis数据结构（四）——Set
z69183787的专栏
07-18 985
https://blog.csdn.net/weixin_37490221/article/details/78135202 引用：Redis的Set是string类型的无序集合。集合成员是唯一的，这就意味着集合中不能出现重复的数据，Redis 中 集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。此处我们使用redisTemplate，配置如下（详情请见链接：RedisTemp...
redistemplate set方法_3分钟快速入门RedisTemplate
weixin_42373066的博客
01-01 1497
引入依赖 org.springframework.boot spring-boot-starter-data-redis1234RedisTemplate五种数据结构的操作redisTemplate.opsForValue(); //操作字符串redisTemplate.opsForHash(); //操作hashredisTemplate.opsForList(); //操作list...
RedisTemplate常用操作：4、redisTemplate-set-操作
qianfeng_dashuju的博客
01-06 5697
1. 新增元素 新增元素时，可以根据返回值来判断是否添加成功, 如下面的单个插入时，如果集合中之前就已经有数据了，那么返回0，否则返回1 /** * 新增一个 sadd * * @param key * @param value */ public void add(String key, String value) { redisTemplate.opsForSet().ad...
redistemplate set方法_使用RedisTemplate对Redis的常用操作
热门推荐
weixin_32841641的博客
01-24 1万+
“点击上方程序大视界，关注后置顶或者星标原创不易，且行且珍惜”01—前言Redis是一个NoSQL(非关系型数据库)数据库之一，key-value存储系统或者说是一个缓存键值对数据库，具有如下特性：基于内存运行，性能高效支持分布式，理论上可以无限扩展key-value存储系统开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可...
StringRedisTemplate/RedisTemplate设置过期时间
别抢我蓝buff
03-28 5247
//向redis里存入数据和设置缓存时间 stringRedisTemplate.opsForValue().set("baike", "100", 60 * 10, TimeUnit.SECONDS);//val做-1操作 stringRedi...
redisTemplate set
09-08
使用redisTemplate操作set，可以使用以下方法: 1. 通过redisTemplate.opsForSet().add(key, value)方法将元素添加到set中。这个方法会返回一个布尔值，表示添加是否成功。 2. 通过redisTemplate.opsForSet().remove(key, value)方法从set中移除指定元素。这个方法会返回一个布尔值，表示移除是否成功。 3. 通过redisTemplate.opsForSet().members(key)方法获取set中的所有元素。返回一个包含所有元素的集合。 4. 通过redisTemplate.opsForSet().size(key)方法获取set中的元素个数。 5. 通过redisTemplate.opsForSet().isMember(key, value)方法判断指定元素是否在set中。返回一个布尔值表示是否存在。 6. 通过redisTemplate.opsForSet().randomMember(key)方法随机获取set中的一个元素。 7. 通过redisTemplate.opsForSet().pop(key)方法随机移除并返回set中的一个元素。 8. 通过redisTemplate.opsForSet().difference(key1, key2)方法可以获取两个set之间的差集。 9. 通过redisTemplate.opsForSet().union(key1, key2)方法可以获取两个set的并集。 10. 通过redisTemplate.opsForSet().intersect(key1, key2)方法可以获取两个set的交集。 值得注意的是，以上方法中的key是指操作的set的键名，value是指要添加或移除的元素值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值