性能测试常用指标

2019独角兽企业重金招聘Python工程师标准>>>

事务

事务是性能测试脚本的一个重要特性，要度量服务器的性能需要定义事务；在PTS中是通过方法来实现事务的，即将业务操作或者代码放在方法里面，通过框架将函数置为事务。

TPS

TPS(Transaction Per Second)每秒系统能够处理的交易或事务的数量，它是衡量系统处理能力的重要指标。

并发

并发分为狭义和广义两类。

狭义并发即所有的用户在同一时刻做同一件事情或操作，这种操作一般针对同一类型的业务，或者所有用户进行完全一样的操作，目的是测试数据库和程序对并发操作的处理。

广义并发即多个用户对系统发出了请求或者进行了操作，但是这些请求或操作可以是不同的，但对整个系统而言，仍然是有很多用户在同时进行操作。

狭义并发强调对系统的请求操作是完全相同的，多适用于负载测试、压力测试；广义并发不限制对系统的请求操作，多适用于混合场景、稳定性测试。

场景

性能测试过程中为了模拟真实用户的业务处理过程，在系统中构建的基于事务、脚本、虚拟用户、运行设置等一系列动作的集合称之为性能测试场景。PTS中场景包含了脚本、施压模式、用户数、日志级别、步调时间等。

响应时间

响应时间指用户从客户端发起一个请求开始，到客户端接收到从服务器端返回的响应结束，整个过程所耗费的时间。响应时间由请求发送时间、网络传输时间和服务器处理时间三部分组成。在性能检测中一般以测试环境中压力发起端至服务器返回处理结果的时间为计量，单位一般为秒或毫秒,该时间不同于模拟真实环境的用户体验时间。

平均响应时间：指系统稳定运行时间段内，同一交易的平均响应时间。一般而言，交易响应时间均指平均响应时间。

平均响应时间指标值应根据不同的交易分别设定，一般情况下，分为复杂交易响应时间、简单交易响应时间、特殊交易响应时间。其中，特殊交易响应时间的设定必须明确该交易在响应时间方面的特殊性。

不同行业不同业务可接受的响应时间是不同的，一般情况，对于在线实时交易：

• 互联网企业：500毫秒以下，例如淘宝业务10毫秒左右。
• 金融企业：1秒以下为佳，部分复杂业务3秒以下。
• 保险企业：3秒以下为佳。
• 制造业：5秒以下为佳。

对于批量交易：

• 时间窗口：不同数据量结果是不一样的，大数据量的情况下，2小时内完成。

并发用户数

并发用户数指在同一时刻内，登录系统并进行业务操作的用户数量。

并发用户数对于长连接系统来说最大并发用户数即是系统的并发接入能力。对于短连接系统而言最大并发用户数并不等于系统的并发接入能力，而是与系统架构、系统处理能力等各种情况相关。

在测试中，采用虚拟用户来模拟现实中用户进行业务操作。

一般情况下，性能测试是将系统处理能力容量测出来，而不是测试并发用户数，除了服务器长连接可能影响并发用户数外，系统处理能力不受并发用户数影响，可以用最小的用户数将系统处理能力容量测试出来，也可以用更多的用户将系统处理能力容量测试出来。

请求状态

请求状态反映了HTTP压测结果的HTTP状态码，状态码含义如下：

成功200：服务器已成功处理了请求并提供了请求的网页。

成功204：服务器成功处理了请求，但没有返回任何内容。

重定向3xx：需要客户端采取进一步的操作才能完成请求。

客户端错误4xx：表示请求可能出错，妨碍了服务器的处理。

服务器错误5xx：表示服务器在处理请求时发生内部错误，这些错误可能是服务器本身的错误而不是请求出错。

CPU

中央处理器是一块超大规模的集成电路，是一台计算机的运算核心（Core）和控制核心（ Control Unit）。它的功能主要是解释计算机指令以及处理计算机软件中的数据。

CPU资源是指性能测试场景运行的时间段内应用服务系统的CPU资源占用率，CPU资源是判断系统处理能力及应用运行是否稳定的重要参数。

CPU指标主要指的CPU利用率，包括用户态(user)、系统态(sys)、等待态(wait)、空闲态(idle)。 CPU 利用率要低于业界警戒值范围之内，即小于或者等于75%;CPU sys%小于或者等于30%, CPU wait%小于或者等于5%。

单核CPU也需遵循上述指标要求。

Load

CPU Load: 系统正在干活的多少的度量，队列长度。系统平均负载。

系统平均负载指在特定时间间隔内运行队列中的平均进程数。如果一个进程满足以下条件就会位于运行队列中：

• 它没有在等待I/O操作的结果。
• 它没有主动进入等待状态，也就是没有调用“wait”。
• 没有被停止，例如等待终止。

CPU Load要小于CPU 核数。

Memory

内存是计算机中重要的部件之一，它是与CPU进行沟通的桥梁。计算机中所有程序的运行都是在内存中进行的，因此内存的性能对计算机的影响非常大。

现代的操作系统为了最大利用内存，在内存中存放了缓存，因此内存利用率100%并不代表内存有瓶颈，衡量系统内有有瓶颈主要靠SWAP（与虚拟内存交换）交换空间利用率，一般情况下，SWAP交换空间利用率要低于70%,太多的交换将会引起系统性能低下。

磁盘吞吐量

磁盘吞吐量是指在无磁盘故障的情况下单位时间内通过磁盘的数据量。

磁盘指标主要有每秒读写多少兆，磁盘繁忙率，磁盘队列数，平均服务时间，平均等待时间，空间利用率。其中磁盘繁忙率是直接反映磁盘是否有瓶颈的的重要依据，一般情况下，磁盘繁忙率要低于70%。

网络吞吐量

网络吞吐量是指在无网络故障的情况下单位时间内通过的网络的数据数量。单位为Byte/s。

网络吞吐量指标用于衡量系统对于网络设备或链路传输能力的需求。当网络吞吐量指标接近网络设备或链路最大传输能力时，则需要考虑升级网络设备。

网络吞吐量指标主要有每秒有多少兆流量进出，一般情况下不能超过设备或链路最大传输能力的70%。

错误率

错误率指系统在负载情况下，失败交易的概率。错误率＝(失败交易数/交易总数)*100%。稳定性较好的系统，其错误率应该由超时引起，即为超时率。

不同系统对错误率的要求不同，但一般不超出千分之六，即成功率不低于99.4%

转载于:https://my.oschina.net/ocean870227/blog/1525171