版本提交测试验收后,跑了几天,今天测试突然跑来说平台不可用。
1. 我先是试图登录平台,发现首页可以进入,但是登录不成功。很显然是后台的问题。
2. 再看MQ中,发现消息堆积在队列中,未被消费掉,同时一点一点变化,说明很有可能是哪里有内存或连接的泄露或未释放。
3. 接着登录阿里云账号,查看redis监控,发现连接数已经达到9000多。
4. 查看日志发现大量的redis连接拒绝错误
redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool
at redis.clients.util.Pool.getResource(Pool.java:42)
at redis.clients.jedis.JedisPool.getResource(JedisPool.java:84)
at com.***(**.java:58)
at com.***(**.java:86)
at com.***(**.java:27)
at org.apache.log4j.AppenderSkelet