性能测试类型

基准测试 (PerformanceBenchmarkTest)

基准测试是每次对外发布产品版本前必须要完成的测试类型。

目的:

1、获取系统性能基准作为参照物(性能问题发生后的测试很难了解系统性能基 准)
2、识别系统或环境的配置变更对性能带来的影响

3、给系统优化前后的性能 升/下降 供参考标准

4、观察系统的整体性能趋势与性能拐点,识别系统性能风险

基准自动化测试与一般性能测试的主要区别
1) 测试周期:基准自动化每天定时自动化执行,性能测试需要事件驱动执行。
2) 测试脚本:基准自动化的性能测试脚本仅仅包含所关注业务的 HTTP 请求,不做用户行为

模拟;性能测试的测试脚本包含业务的上下文请求,并进行用户行为的模拟。
3) 测试策略:基准自动化策略固定,几乎不做修改;性能测试需要根据不断变化的性能需

求进行修改。
4) 脚本维护:基准自动化的测试脚本仅在访问链接发生变更时维护,或者 POST 参数发生变

更时维护,GET 请求几乎不需要维护;性能测试脚本在每轮测试中一般都需要重新开发。
5) 结果用途:基准自动化结果数据用于系统性能变动的衡量指标;性能测试结果脚本可用

于感知用户性能体验、预知系统性能风险。

 

负载测试

1、持续稳定地增加系统的负载,测试系统性能的变化。直到性能指标达到阈值, 找到系统瓶颈和性能拐点
2、测试系统所能承受的最大负载量的测试

3、找出内存管理错误,内存泄漏,缓冲区溢出等问题

4、找到处理极限,为调优 供数据

5、负载测试是通过改变系统负载方式、增加负载等来发现系统中所存在的性能 问题。它是一种测试方法,可以被压力测试所采用。

 

压力测试

概述

1、测试系统的资源在达到饱和状态下,应用的处理会话能力

2、持续稳定的增加系统负载,测试系统性能的变化,并最终确定在什么负载下系统性能处于失 效状态

3、它的目的是确保系统失败并正常恢复,目的是发现在什么条件下系统的性能变得不可接受, 发现应用程序性能下降的拐点

4、有效地发现系统稳定性的隐患和系统在负载峰值的条件下功能隐患等

5、关注大业务量情况下长时间运行系统性能的变化(例如是否反应变慢、是否会内存泄漏导致 系统逐渐崩溃、是否能恢复)

目标

1、测试在一定的负载下系统长时间运行的稳定性,但是这个负载不一定是应用 系统本身造成的。

比如我们经常利用脚本或工具事先吃掉服务器的一部分 cpu、内存或带宽等,

2、创造出一定的负载环境并测试被测应用系统在此环境下的事物处理能力,响 应时间等等

 

破坏性压力测试

不断加压,直至系统崩溃。来得出系统的最大承受能力。通过破坏性不断加压的 手段,能快速造成系统的崩溃或让问题明显的暴露出来

目标

1、测试在一定的负载下系统长时间运行的稳定性,但是这个负载不一定是应用 系统本身造成的。比如我们经常利用脚本或工具事先吃掉服务器的一部分 cpu、内存或带宽等,

2、创造出一定的负载环境并测试被测应用系统在此环境下的事物处理能力,响 应时间等等

 

稳定性测试

稳定性测试,又称可靠性测试。
主要是通过长时间(7*24 小时)模拟被测系统的测试负载,来观察系统在长期 运行过程中是否有潜在的问题。通过对系统指标的监控,稳定性测试可以发现诸 如内存泄漏、资源非法占用等问题

稳定性测试的场景设计和基准测试不同

一般是采用“阶梯增压”的方法,逐渐增加测试负载,在高负载情况下持续运行 一段时间,然后再逐渐降低负载,这样就构成了一个梯级的测试场景。

 

稳定性测试通过的标志

1、系统资源的所有监控指标稳定 2、事务的响应时间不稳定 3、事务的错误率不超过 1%

 

并发测试

并发测试,是在高并发情况下验证单一业务功能的正确性以及性能的测试手段。

并发测试一般使用思考时间为零的虚拟用户脚本来发起具有“集合点”的测试。

并发测试,往往被当作功能测试的补充,主要用于发现诸如多线程、资源竞争、 资源死锁之类的错误。要执行并发测试,需要加入“集合点”

 

Spike 测试

概述

尖峰测试(Spike testing)在性能测试中属于压力测试的一个子集。指的是在 某一瞬间或者多个频次下用户数和压力陡然增加的场景。

为了验证我们的网站在访问用户急剧增加的情况下,或者短时间内反复急剧增加 工作负载时能否正常工作;以及程序能否从高负荷中恢复并正常工作时常常用到 这种测试手法。

使用Ultimate Thread Group(终极线程组)模拟那种浪潮似地场景