配置测试
配置测试(Configuration
Testing)是指当前的配置环境下系统运行的情况。而系统配置包括两个方面的内容,一是软件配置;二是硬件配置。通常所说的配置测试,更多的是指硬件的配置测试。
软件配置是指被测试系统所在的操作系统中其他软件的情况,从软件配置测试角度来说,软件配置测试就是软件的兼容性测试。
硬件配置是指被测试系统的硬件环境。硬件配置测试包括两方面的含义,一是功能方面的测试;二是性能方面的测试。
就功能方面来说(指的是客户端的硬件配置),一般出厂时供应商会给出一个推荐配置,测试过程中的难点是如何确定硬件配置。由于硬件的配置方案有很多种,从理论上说,无法一一列举,故在测试过程中一般测试最大配置与最小配置两种情况。
就性能方面来说(指的是服务器的硬件配置),主要测试的是当前的配置是否能支持期望的目标并发用户数,即当前配置的能力验证,但还有一种情况是指当前的配置是否能满足未来业务增长的需求,即当前配置的规划能力测试。性能方面的配置测试硬件主要考虑CPU、内存、磁盘的使用情况。
可靠性测试
通常所说的可靠性测试更多的是指软件系统的可靠性测试,也称软件的可靠性评估,指根据软件系统可靠性结构(单元与系统间可靠性关系)、寿命类型和各单元的可靠性试验信息,利用概率统计方法,评估出系统的可靠性特征量。软件可靠性是软件系统在规定的时间内以及规定的环境条件下,完成规定功能的能力。一般情况下,只能通过对软件系统进行测试来度量其可靠性。
如果是对产品的可靠性进行评估,就不单指软件的可靠性,还应包括硬件的可靠性,因为元器件也可能出现失效的情况,进而导致产品失效或产生故障。
健壮性测试
健壮性测试(Robustness Testing)又称为容错性测试(Fault Tolerance
Testing),是指当测试系统出现故障时,是否能够自动恢复或者忽略故障继续运行。在设计过程中应该考虑错误输入和故障注入等情况,这样才能保证系统的健壮性。系统的健壮性一般从以下几个方面来考虑:
(1)通过:系统输入参数后应该产生预期的正常结果。
(2)灾难性失效:这是系统健壮性中最严重的失效,当这种失效发生后只有通过重新引导才能恢复,如重启系统或计算机。
(3)重启失效:系统函数调用没有返回,使得调用它的程序挂起或停止。
(4)夭折失效:在程序运行过程中出现异常输入,导致系统发生错误使程序中止。
(5)沉寂失效:异常输入时,系统应该返回错误提示信息,但是在测试过程中并未返回任何异常信息。
(6)干扰失效:当系统出现异常时,错误信息也返回了,但并不是期望的错误信息,即输入与结果不匹配。
良好的健壮性设计需要考虑以下几个方面的内容,同时这也是测试需要注意的几个方面:
(1)可移植性:健壮性测试基准程序用来比较不同系统的健壮性,因此必须支持在多系统之间可移植。
(2)覆盖率:理想的基准程序应该能够覆盖所有的系统模块,但这样开销巨大,因此在测试过程中一般选取优先级高的模块进行测试,并且有针对性地对模块异常使用进行测试。
(3)可扩展性:指当前的基准程序是否能提供一种途径,来保证系统升级或模块扩展能力。