【Azure Redis】AKS中使用Lettuce连接Redis Cache出现 timed out 问题的解决思路

最新推荐文章于 2024-10-05 00:27:51 发布

李昦

最新推荐文章于 2024-10-05 00:27:51 发布

阅读量53

点赞数

文章标签： azure redis microsoft 数据库缓存

问题描述

使用 Lettuce 客户端，在AKS环境中连接Azure Redis服务，出现超时错误。

错误消息：

Redis command timed out , command timed out after 1 minute(s).

错误截图：

【Azure Redis】AKS中使用Lettuce连接Redis Cache出现 timed out 问题的解决思路_Redis

解决思路

当出现Redis客户端连接不上时，需要先排查Redis服务器的状态，比如Server Load是否处于高位（90%以上），CPU是否处于高位，然后查看连接数的情况（Connections）。

【Azure Redis】AKS中使用Lettuce连接Redis Cache出现 timed out 问题的解决思路_TCP_02

如果查看指标，并没有发现Redis服务的异常情况后，可以从一下几个方面来分析问题：

1）Azure Redis Cache的默认超时时间是10分钟，如果当前已经与Azure Redis Cache建立的连接超过10分钟没有使用，Azure Redis Cache服务端将会自动清理该连接，如果后续客户端尝试使用该已经断掉的连接去访问Azure Redis Cache，就需要重新建立连接。详情请见： https://docs.azure.cn/zh-cn/azure-cache-for-redis/cache-best-practices-connection#idle-timeout

2）Lettuce15分钟左右时间的Timeout 的已知问题

Lettuce开源社区中的相关问题讨论（ https://github.com/lettuce-io/lettuce-core/issues/2082 ），当Lettuce底层TCP连接与Redis Server实际断开但客户端依然保持socket端口开放的时候，底层KeepAlive 以及Lettuce本身的保活机制不会生效，从而导致底层TCP连接成为orphan connection，进而导致Socket 依靠OS 底层tcp_retries 机制完成探测，在TCP重传15次后（大致15分钟）进行Redis连接的重新建立。

优化建议：在6.2.7.RELEASE 后可以通过 SocketOptions 中的TCP_USER_TIMEOUT参数设置业务最大接收的timeout时间。具体配置可以参照： https://github.com/lettuce-io/lettuce-core/issues/2082#issuecomment-1702782618

// Config TCP KeepAlive
        SocketOptions socketOptions = SocketOptions.builder()
                .keepAlive(KeepAliveOptions.builder()
                        .enable()
                        .idle(Duration.ofSeconds(TCP_KEEPALIVE_IDLE))
                        .interval(Duration.ofSeconds(TCP_KEEPALIVE_IDLE/3))
                        .count(3)
                        .build())
                .tcpUserTimeout(TcpUserTimeoutOptions.builder()
                        .enable()
                        .tcpUserTimeout(Duration.ofSeconds(TCP_USER_TIMEOUT))
                        .build())
                .build();