记一次dubbo连接池打满的线上排查过程

现象：dubbo连接池爆满，dubbo接口接口不可用，日志和监控平台都显示显示dubbo连接池已满

排查方式：/opt/souche/java/bin/jstack -l 94 

堆栈信息显示，有大量的redis连接waiting，命令查看redis连接池满了

 

原因：redis连接池参数设置为8，等待超时时间为-1ms(即超时一直等待)。代码层面，由于线索接口分页查询，单次20条，然后每条数据查询都会走redis查询，redis的存储结构使用的是hash，遍历entry使用的是cursor没有关闭，导致连接不释放、连接泄漏。前端的不断请求会累积，导致dubbo连接池最终成功实现爆满

 

解决方式：redis去除cursor游标的使用，redis的查询提到外层只调用一次，等待超时时间设置为1s

参考：在RedisTemplate中使用scan代替keys指令 - alterem - 博客园