生产一次RedisCommandTimeoutException问题分析

最新推荐文章于 2024-04-22 11:19:53 发布
最新推荐文章于 2024-04-22 11:19:53 发布
阅读量1.2w 收藏 20
点赞数 8
分类专栏： 生产问题分析 文章标签： java redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lejustdoit/article/details/120273944
版权

1、在某个时间段，生产日志大量出现RedisCommandTimeoutException，一共98次：

grep "RedisCommandTimeoutException"  *_2021-09-10.5.log |wc -l

2、查看第一次出现的位置：

grep -C 100  "RedisCommandTimeoutException" *_2021-09-10.5.log |head -201

 

完整异常信息如下：

2021-09-10 14:50:33.423 INFO [http-nio-7001-exec-362]com.***.web.config.GlobalExceptionHandler.printLog:300 -Method[Method[invoke:-1]]错误码:global_exception_warn_web_log,错误信息:Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 2 second(s)-->Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 2 second(s)
com.cfc.common.utils.TranFailException: Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 2 second(s)-->Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 2 second(s)
	at com.cfc.common.utils.LogUtil$HanderExVo.invoke(LogUtil.java:412)
	at com.cfc.common.utils.LogUtil.handerEx(LogUtil.java:319)
	at com.cfc.common.utils.LogUtil.handerEx(LogUtil.java:280)
	at com.cfc.common.utils.LogUtil.handerEx(LogUtil.java:257)
	at com.cfc.common.utils.LogUtil.handerEx(LogUtil.java:245)
	at com.***.web.config.GlobalExceptionHandler.jsonErrorHandler(GlobalExceptionHandler.java:47)
	at sun.reflect.GeneratedMethodAccessor6324.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:497)
	at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:190)
	at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:138)
	at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:104)
	at org.springframework.web.servlet.mvc.method.annotation.ExceptionHandlerExceptionResolver.doResolveHandlerMethodException(ExceptionHandlerExceptionResolver.java:408)
	at org.springframework.web.servlet.handler.AbstractHandlerMethodExceptionResolver.doResolveException(AbstractHandlerMethodExceptionResolver.java:61)
	at org.springframework.web.servlet.handler.AbstractHandlerExceptionResolver.resolveException(AbstractHandlerExceptionResolver.java:140)
	at org.springframework.web.servlet.handler.HandlerExceptionResolverComposite.resolveException(HandlerExceptionResolverComposite.java:79)
	at org.springframework.web.servlet.DispatcherServlet.processHandlerException(DispatcherServlet.java:1298)
	at org.springframework.web.servlet.DispatcherServlet.processDispatchResult(DispatcherServlet.java:1110)
	at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1056)
	at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:942)
	at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:1005)
	at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:908)
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:660)
	at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:882)
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:741)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:231)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
	at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:53)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
	at org.springframework.web.filter.RequestContextFilter.doFilterInternal(RequestContextFilter.java:99)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:118)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
	at org.springframework.web.filter.FormContentFilter.doFilterInternal(FormContentFilter.java:92)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:118)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
	at org.springframework.web.filter.HiddenHttpMethodFilter.doFilterInternal(HiddenHttpMethodFilter.java:93)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:118)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
	at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:200)
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:118)
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
	at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:202)
	at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:96)
	at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:490)
	at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:139)
	at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:92)
	at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:74)
	at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:343)
	at org.apache.coyote.http11.Http11Processor.service(Http11Processor.java:408)
	at org.apache.coyote.AbstractProcessorLight.process(AbstractProcessorLight.java:66)
	at org.apache.coyote.AbstractProtocol$ConnectionHandler.process(AbstractProtocol.java:853)
	at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1587)
	at org.apache.tomcat.util.net.SocketProcessorBase.run(SocketProcessorBase.java:49)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
	at java.lang.Thread.run(Thread.java:745)
Caused by: org.springframework.dao.QueryTimeoutException: Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 2 second(s)
	at org.springframework.data.redis.connection.lettuce.LettuceExceptionConverter.convert(LettuceExceptionConverter.java:70)
	at org.springframework.data.redis.connection.lettuce.LettuceExceptionConverter.convert(LettuceExceptionConverter.java:41)
	at org.springframework.data.redis.PassThroughExceptionTranslationStrategy.translate(PassThroughExceptionTranslationStrategy.java:44)
	at org.springframework.data.redis.FallbackExceptionTranslationStrategy.translate(FallbackExceptionTranslationStrategy.java:42)
	at org.springframework.data.redis.connection.lettuce.LettuceConnection.convertLettuceAccessException(LettuceConnection.java:268)
	at org.springframework.data.redis.connection.lettuce.LettuceStringCommands.convertLettuceAccessException(LettuceStringCommands.java:799)
	at org.springframework.data.redis.connection.lettuce.LettuceStringCommands.get(LettuceStringCommands.java:68)
	at org.springframework.data.redis.connection.DefaultedRedisConnection.get(DefaultedRedisConnection.java:253)
	at org.springframework.data.redis.core.DefaultValueOperations$1.inRedis(DefaultValueOperations.java:57)
	at org.springframework.data.redis.core.AbstractOperations$ValueDeserializingRedisCallback.doInRedis(AbstractOperations.java:59)
	at org.springframework.data.redis.core.RedisTemplate.execute(RedisTemplate.java:224)
	at org.springframework.data.redis.core.RedisTemplate.execute(RedisTemplate.java:184)
	at org.springframework.data.redis.core.AbstractOperations.execute(AbstractOperations.java:95)
	at org.springframework.data.redis.core.DefaultValueOperations.get(DefaultValueOperations.java:53)
	at com.***.basic.redis.service.RedisService.get(RedisService.java:134)
	at com.***.basic.service.impl.AppParamServiceImpl.queryOneParamValue(AppParamServiceImpl.java:55)
	at com.***.service.service.impl.OrdersServiceImpl.taskResourceUsers(OrdersServiceImpl.java:969)
	at com.***.service.service.impl.OrdersServiceImpl.getTaskUsers(OrdersServiceImpl.java:925)
	at com.***.service.service.impl.OrdersServiceImpl.reformatOrders(OrdersServiceImpl.java:630)
	at com.***.service.service.impl.OrdersServiceImpl.getBussOrders(OrdersServiceImpl.java:913)
	at com.***.service.service.impl.OrdersServiceImpl$$FastClassBySpringCGLIB$$64bca082.invoke(<generated>)
	at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:218)
	at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:749)
	at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:163)
	at org.springframework.transaction.interceptor.TransactionInterceptor$$Lambda$719/1122356159.proceedWithInvocation(Unknown Source)
	at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:295)
	at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:98)
	at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
	at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:688)
	at com.***.service.service.impl.OrdersServiceImpl$$EnhancerBySpringCGLIB$$ea15cf3a.getBussOrders(<generated>)
	at com.***.web.controller.BusinessInfoController.listBussinfo(BusinessInfoController.java:207)
	at com.***.web.controller.BusinessInfoController$$FastClassBySpringCGLIB$$fa862eb4.invoke(<generated>)
	at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:218)
	at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:749)
	at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:163)
	at org.springframework.aop.framework.adapter.MethodBeforeAdviceInterceptor.invoke(MethodBeforeAdviceInterceptor.java:56)

3、首先检查redis连接问题，是否可用，通过telnet 等命令，发现redis服务端是正常的，那么redis可用性没有问题

telnet  ip  port

 4、在项目中搜索用到lettuce的地方，原来是springboot自身集成的 lettuce

5、也不像是程序客户端，连接池占满，获取不到连接的问题。所以从第一次抛出异常的日志中继续找问题：

找到 http-nio-7001-exec-362  线程，传入的参数：

入参=ROLE_PARAMS,administrator

6、异常详细信息，关联代码的地方：

7、对应代码的地方：

 

8、去看一下redis中的数据，get key，发现是存在的，所以排除了是redis没有获取到的问题；

而且不是每次get都会报错，偶然性的； 

9、但是redis获取key的时候，是失败了，而我们的redis，用的是

RedisTemplate，springboot集成的

  pom中引用的redis，注意这里，并没有添加指定的版本号，如果不指定版本号，spring-boot-starter-parent 会为我们提供常用jar包版本（如果不用指定，会有一个默认指定）

10、用jar -vtf   *.jar 命令，解压查看集成的版本：

这里用了lettuce-core-5.1.8.RELEASE.jar的版本

11、问题猜测，尝试解决：

用的springboot自带的redis，底层集成了lettuce，

以lettuce驱动连接redis的过程当中，会出现连接断开的情况，导致无法新增成功，超过一定时间还没有正常，就会出现连接超时的情况；

修改后有待验证！

解决方案，在pom.xml中更换指定的lettuce版本，或者更换成jedis客户端，这里排除掉lettuce：

 

12、参考以下大量博客，猜测得出结论，版本问题：

Redis command timed out nested exception is io.lettuce.core.RedisCommandTimeoutException_single_cong的博客-CSDN博客

SpringBoot集成Redis后，运行一段时间后发现RedisCommandTimeoutException - 灰信网（软件开发博客聚合）
Issues · lettuce-io/lettuce-core · GitHub
 

 Springboot2.x集成lettuce连接redis集群报超时异常Command timed out after 6 second(s) - 朱季谦 - 博客园Lettuce bug(RedisCommandTimeoutException) in spring-boot-autoconfigure 2.0.5 · Issue #1756 · lettuce-io/lettuce-core · GitHub


io.lettuce.core.RedisCommandTimeoutException: Command timed out · Issue #1092 · lettuce-io/lettuce-core · GitHub

 

 

小哥骑单车
关注
  • 8
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【亲测可用】SpringBoot使用Redis的Lettuce连接池报RedisCommandTimeoutException
黄团团的个人博客
11-07 784
在最近新项目的开发当中，当项目刚启动的时候访问Redis服务一切正常，但是过了几分钟后再次访问Redis就报如下错误。'Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 10 second(s)'
Redis command time io.lettuce.core.RedisCommandTimeoutException: Command timed out after10second(s)
weixin_45626288的博客
07-08 6632
Redis服务器负载过高：如果Redis服务器负载过高，可能导致命令执行时间变慢，甚至超时。Redis配置问题：检查Redis服务器的配置文件，确保timeout选项设置得足够长，以便允许命令执行完成。默认情况下，Redis的timeout选项是0，表示没有超时限制。大量数据处理：如果在Redis中存储了大量数据，并且执行的命令需要处理这些数据，可能会导致命令执行时间过长。优化Redis服务器：如果Redis服务器负载过高，可以考虑升级硬件、优化Redis配置或增加Redis实例的数量来分散负载。
【问题解决】org.springframework.dao.QueryTimeoutException: Redis command timed out； nested exception is io
gjb760662328的博客
05-06 5435
解决Redis连接异常超时或存储超时问题
Redis command timed out； nested exception is io.lettuce.core.RedisCommandTimeoutException 错误
最新发布
易之阴阳，量子纠缠，道之一体，缘起性空
04-22 1976
错误，主要需从网络连接、Redis服务器性能、命令执行效率、阻塞性命令以及客户端配置等多个角度进行排查。通过监控、日志分析和代码审查，定位并优化问题根源，同时合理调整客户端超时设置以适应实际场景。错误时，这表明客户端（通常是使用Lettuce作为Redis客户端库的应用程序）在执行Redis命令时超出了预设的响应时间限制。
lettuce 间歇性发生 RedisCommandTimeoutException 的深层原理及解决方案
火山的博客
12-29 1655
lettuce是一个优秀的开源软件，设计和代码都很优美。通过这次的问题排查和解决问题，加深了自己对netty，LinuxSocket机制、TCP/IP 协议的理解。
填坑之路-记录Redis操作的异常QueryTimeoutException & RedisCommandTimeoutException: Command timed out after 1 min
汉风唐尚的博客
12-26 1万+
原始异常信息如下 org.springframework.dao.QueryTimeoutException: Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 1 minute(s) at org.springframework.data.redis.connection.lettuce.LettuceExcep
Redis trouble06 -- io.lettuce.core.RedisCommandTimeoutException:Command timed out after 10 seconds
weixin_39523456的博客
09-06 5835
一、问题描述 线上一段时间时不时的会报出来下边的问题 Redis command timed out;nested exception is io.lettuce.core.RedisCommandTimeoutException:Command timed out after 10 second 这个问题在github上有提到过,大家最终的解决方式都是下边的第一种 二、解决方案 1.将lettuce换成jedis 2.第二种方案并没有验证,因为上边的问题也不是随时可以复现的,只是个人分析
nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 2 second(s
cdliker的博客
08-24 5132
Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command timed out after 2 second(s) 解决方法 https://blog.csdn.net/zw521cx/article/details/101212549 个人选择第二种解决方式 更改依赖
解决io.lettuce.core.RedisCommandTimeoutException: Command timed out, mysql 访问15分钟阻塞等待
热门推荐
淡泊明志,宁静致远
09-23 4万+
写这篇文章前我也是谷歌百度过,可以无非都是千篇一律配置 timeout 或者lettuce的连接池,可是更改完这些配置,问题依旧,于是开始了自我探索之路,请出Wireshark大杀器,每当动用Wireshark时,我都知道我摊上大事了,文章是两个问题一个redis,一个mysql,但是都是一个原因造成的,所以写在了一起 一:redis超时 1.出现问题的现象是每隔5,6分钟(这个时间是反复...
Redis command timed out nested exception is io.lettuce.core.RedisCommandTimeoutException
unber的博客
09-01 1486
原因分析：这个情况是我在将SpringBoot从1.X升级到2.X的时候产生的问题，所以大致可以猜到是版本问题。这种方法无效，解决不了这个问题，我从0改到500还是报错。但是网上绝大多数都是这种方式，实际上我刚更改过来的时候有效过一阵，之后就又不行了。可以看到变化是从jedis依赖变成了lettuce-core依赖，而上面的报错如上，配置文件不变，Redis连接成功，不再报错。
java redis 超时_redis解决java连接超时Command timed out
weixin_28684497的博客
02-21 2596
linux redis搭建好了，可是我用java去连，就报错：Command timed outio.lettuce.core.RedisCommandTimeoutException:Commandtimedoutatio.lettuce.core.LettuceFutures.awaitOrCancel(LettuceFutures.java:114)~[lettuce-core-5...
使用redisson连接redis集群会报RedisTimeOutException的错误的解决方案（成功版）
astra_zhao的专栏
08-05 1万+
我们项目是三主三从部署在线上环境，项目中使用redisson去读取redis集群的KV，有时候发现会报下面这个错误： 经过一些网站的搜索和配置文件的了解，最后在redisson的FAQ找到如下解决方案，用下面这个解决方案，通过线上观察，基本解决： Q: I saw a RedisTimeOutException, What does it mean? What shall I do? Ca...
记录redis集群连接超时问题及解决方案
查拉图斯特拉面条的博客
09-15 1098
下午同事反馈，某业务场景性能测试过程中，出现异常，提供日志报：Redis command timed out 1. 先看下日志 org.springframework.dao.QueryTimeoutException: Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutExcep...
Springboot2.x集成lettuce连接redis集群报超时异常Command timed out after 6 second(s)
weixin_48967543的博客
03-21 3601
文/朱季谦 背景：最近在对一新开发Springboot系统做压测，发现刚开始压测时，可以正常对redis集群进行数据存取，但是暂停几分钟后，接着继续用jmeter进行压测时，发现redis就开始突然疯狂爆出异常提示：Command timed out after 6 second(s)...... 1 Caused by: io.lettuce.core.RedisCommandTimeoutException: Command timed out after 6 second(s) 2 .
线上Redis超时问题排查
jtjs1989的专栏
09-29 4024
问题描述 最近线上的程序经常报错，redis command timed out 报错信息如下 org.springframework.dao.QueryTimeoutException: Redis command timed out; nested exception is io.lettuce.core.RedisCommandTimeoutException: Command ti...
Redis command timed out； nested exception is io.lettuce.core.RedisCommandTimeoutException: Command
qq_43584103的博客
04-07 1万+
springboot 连接redis一直连接超时 首先分析redis服务是启动状态，项目连接配置也是正确的 在连接redis客户端 通过info命令来检查redis是否存在问题 used_memory_dataset_perc:96.65% 由此可以发现，内存已经到达了峰值，需要清理内存 通过命令分析出redis的大key --bigkeys redis-cli -h 127.0.0.1 -p 6379 -a 123456 --bigkeys Biggest string found .
解决Springboot Redis command timed out 问题
weixin_58530482的博客
11-10 1298
先查看自己的yml中redis的timeout时间,正常5000完全够用, 如果还是不能够解决你的问题, 乖..., 重启redis,因为长时间不用的话redis会休眠也会造成连不上的情况
rediscommandtimeoutexception
03-16
RedisCommandTimeoutException 是一种 Redis 异常，表示在执行 Redis 命令时发生了超时错误。这通常是由于网络问题或 Redis 服务器繁忙导致的。建议检查网络连接或重试操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值