性能测试 服务器cpu升高,性能测试之如何分析CPU异常曲线

图2 问题分析流程图

1. 发现问题时，初步猜测是由于环境不稳导致了CPU陡增，再次进行混合8小时疲劳测试，发现测试结果和最初的结果一致，排除环境因素。

2. 查询XMeter的运行日志，发现有Java.lang.OutOfMemoryError:Java heap space的报错信息，进而对Heapdump文件进行分析，并未发现导致该问题的代码块。随后修改堆内存配置，由原来的1.5G改为2.5G，再次混合疲劳压测8小时，压测结果如图3所示。

图3 应用服务器CPU曲线

压测结果显示：应用服务器的CPU使用率曲线开始陡增的时间较之前变长，堆内存为1.5G时，CPU使用率在发压开始2-3小时左右陡增，直至发压结束；堆内存为2.5G时，CPU使用率在发压开始5-6小时左右陡增，直至发压结束。

3. 项目组进一步验证环境的参数配置，将服务器由2C/4G扩容至2C/8G，增加数据库连接池数目和WAS线程数，再次进行混合疲劳压测，测试结果显示CPU仍然出现陡增现象，排除环境参数配置因素。

4. 测试人员对应用服务器CPU曲线、数据库服务器CPU曲线、TPS曲线和请求响应时间曲线进行综合分析，发现应用服务器CPU陡增的同时，数据库CPU和TPS曲线呈现下降趋势，平均响应时间曲线升高，因此初步将问题原因聚焦于应用服务器程序问题。

(1)请求响应时间

图4 请求响应时间曲线

(2)请求吞吐量

图5 请求吞吐量曲线

(3)数据库服务器CPU曲线

图6 数据库服务器CPU曲线

分析native_stderr.log，发现JVM堆内存使用量不断升高，堆内存回收异常，存在内存泄漏：

图7 JVM堆内存使用量曲线

5. 在确认是程序问题之后，通过对不同的交易进行压测来定位导致问题的交易：

(1)移动端交易单独压测

由于陡增的时间节点是发压后3小时，分别对每支交易进行压测4小时，进而对不同的交易组合进行混合压测4小时，CPU陡增现象均未出现。

(2)PC端与移动端交易进行压测

① 由于5支交易中仅申请交易2是旧交易，因此对PC端的申请交易2单独进行疲劳压测8小时，发现JVM堆内存使用率曲线显示正常；

② 对PC端申请交易2，移动端：查询交易1、查询交易2、查询交易3这4支交易进行混合疲劳压测8小时，发现JVM堆内存使用率曲线显示正常；

③ 对PC端申请交易2，移动端：查询交易1、查询交易2、查询交易3、申请交易1这5支交易混合疲劳压测8小时，问题复现，测试结果如图8所示。

图8 应用服务器CPU曲线

JVM堆内存使用量曲线如图9所示。

图9 JVM堆内存使用量曲线

初步确认申请交易1导致该问题出现，随后对申请交易1单独进行疲劳压测8小时，问题复现，确认该交易存在问题，测试结果如图10所示。

图10 应用服务器CPU曲线

JVM堆内存使用量曲线如图11所示。

图11 JVM堆内存使用量曲线