自己负责的一个项目,刚开始上线的时候,测试都没啥问题。
但是后面遇到业务高峰的时候,特别吃内存,一台8核16g服务器内存很快就满了,然后服务不可用。
尝试去查找问题的时候,网上各种搜索,还用了一些内存管理工具去检测,然而并不能显而易见的发现问题。
后面决定对一些主要接口做压力测试。
在测试过程中,发现了一个容易导致内存升高的现象。
那就是如果接口响应较慢,请求不断发送的时候,就容易导致内存波动较大。
顺着这个思路,猜想应该就是项目中的某些接口耗时较长,导致连接被占用,内存较高。
于是开始在一些主要接口打印耗时的日志,很快就发现了一个接口耗时特别长。
差不多在20-30s之间,这个就很不正常。开始分析代码,
发现一个功能会查询最近所有的记录,然后去判断校验,虽着项目数据的不断积累,这个查询就变得越来越慢。
问题应该就是这个地方造成的了,然后开始给表的查询字段添加索引,查询时间瞬间减少了一半多。
然后再考虑使用缓存。处理时间直接下降到1s之内,应该是毫秒级的了。
改完之后,服务器内存就变得特别稳定了。请求量再大也不会出现异常波动了。