性能测试基础带你了解

1.1. RT -Response time
请求响应时间
从客户端发出请求到得到响应的整个时间
一般包括网络响应时间+server 的响应时间。
用户接受准则:
例如 2-5-10 原则，即按照正常用户体验，如果用户能够在 2 秒内得到响应，会
感觉速度很快，如果 2-5 秒得到响应，用户感觉系统的响应速度还不多，在 5-10
秒之内得到响应时，用户会感觉系统的响应速度慢，但是可以接受，超过 10 秒
后还没有响应，用户就会感觉不能够接受。
不同行业不同业务可接受的响应时间是不同的，一般情况，对于在线实时交易：
 互联网企业：500 毫秒以下，例如淘宝业务 10 毫秒左右。
 金融企业：1 秒以下为佳，部分复杂业务 3 秒以下。
 保险企业：3 秒以下为佳。
 制造业：5 秒以下为佳。

 阿里云规范

1.2. 系统处理能力-吞吐量
系统处理能力是指系统在利用系统硬件平台和软件平台进行信息处理的能力。系统处理能力
通过系统每秒钟能够处理的交易数量来评价，交易有两种理解：
一是业务人员角度的一笔业务过程；
二是系统角度的一次交易申请和响应过程。
前者称为业务交易过程，后者称为事务。两种交易指标都可以评价应用系统的处理能力。一
般的建议与系统交易日志保持一致，以便于统计业务量或者交易量。系统处理能力指标是技
术测试活动中重要指标。
要么完全成功，要么完全失败
事务:原子性，一致性，隔离性，持久性

一般情况下，用以下几个指标来度量：
 HPS（Hits Per Second） ：每秒点击次数，单位是次/秒。
 QPS（Query per Second）：系统每秒处理查询次数，单位是次/秒。
 TPS（Transaction per Second）：系统每秒处理事务数，单位是笔/秒。
 下订单:
 生成订单
 减库存
 通知后台订单状态
对于互联网业务中，如果某些业务有且仅有一个请求连接，那么 TPS=QPS=HPS，
一般情况下用 TPS 来衡量整个业务流程，用 QPS 来衡量接口查询次数，用 HPS 来表示对
服务器点击请求。
每秒钟处理完的事务次数，一般 TPS 是对整个系统来讲的。一个应用系统 1s 能
完成多少事务处理，一个事务在分布式处理中，可能会对应多个请求，对于衡量
单个接口服务的处理能力，用 QPS 比较多。
吞吐量
1.1.2. 标准
无论 TPS、QPS、HPS,此指标是衡量系统处理能力非常重要的指标，越大越好，根据经验，
一般情况下：
 金融行业：1000TPS~9000TPS，不包括互联网化的活动
 保险行业：100TPS~1000TPS，不包括互联网化的活动
 制造行业：10TPS~50TPS
 互联网电子商务：10000TPS~100000TPS,例如天猫 5 万 TPS
 互联网中型网站：100TPS~500TPS
 互联网小型网站: 50TPS~100TPS
1.3. 并发用户数量
常见的错误理解:
使用系统的全部用户数量(注册用户)
使用系统的全部在线用户数量

正确理解
并发用户数指在同一时刻内，打开系统并进行业务操作的用户数量，并发用户数
对于长连接(数据库连接时长连接，web 请求时短连接)系统来说最大并发用户数即是系统的
并发接入能力。对于短连接系统而言最大并发用户数并不等于系统的并发接入能力，而是与
系统架构、系统处理能力等各种情况相关
1.1.3. 简称
Virtual User: VU 虚拟用户
1.1.4. 标准
一般情况下，性能测试是将系统处理能力容量测出来，而不是测试并发用户数，除了服务器
长连接可能影响并发用户数外，系统处理能力不完全受并发用户数影响，可以用最小的用户
数将系统处理能力容量测试出来，也可以用更多的用户将系统处理能力容量测试出来。
系统在线峰值时间段用户数量的 8%-12%,一般取值 10%
1.4. 错误率 error
1.1.5. 定义及解释
错误率指系统在负载情况下，失败交易的概率。错误率＝(失败交易数/交易总数)*100%。
稳定性较好的系统，其错误率应该由超时引起，即为超时率。
连接超时 设置超时时间 10s
响应超时 设置超时时间 10s
1.1.6. 标准不同系统对错误率的要求不同，但一般不超出千分之六，即成功率不低于 99.4%
1.5. CPU
定义及解释
中央处理器是一块超大规模的集成电路，是一台计算机的运算核心（Core）和控制核心
（ Control Unit）。它的功能主要是解释计算机指令以及处理计算机软件中的数据。CPU
Load: 系统正在干活的多少的度量，队列长度。系统平均负载。
CPU 指标主要指的 CPU 利用率，包括用户态(user)、系统态(sys)、等待态(wait)、空闲态(idle)。
CPU 利用率要低于业界警戒值范围之内，即小于或者等于 75%;CPU sys%小于或者等于
30%, CPU wait%小于或者等于 5%。单核 CPU 也需遵循上述指标要求。
1.6. Memory
内存是计算机中重要的部件之一，它是与 CPU 进行沟通的桥梁。计算机中所有程序的运行
都是在内存中进行的，因此内存的性能对计算机的影响非常大。
现代的操作系统为了最大利用内存，在内存中存放了缓存，因此内存利用率 100%并不代表
内存有瓶颈，衡量系统内有没有瓶颈主要靠 SWAP（与虚拟内存交换）交换空间利用率，
一般情况下，SWAP 交换空间利用率要低于 70%,太多的交换将会引起系统性能低下。
Swap 解释:
当物理内存接近崩溃时，将物理内存中最近一段时间最少频率使用到的页框移出
物理内存，放进该存储空间，这段存储空间我们称之为交换空间（Swap）
1.7. 磁盘吞吐量 Disk Throughput
磁盘吞吐量是指在无磁盘故障的情况下单位时间内通过磁盘的数据量。

磁盘指标主要有每秒读写多少兆，磁盘繁忙率，磁盘队列数，平均服务时间，平均等待时间，
空间利用率。其中磁盘繁忙率是直接反映磁盘是否有瓶颈的的重要依据，一般情况下，磁盘
繁忙率要低于 70%
1.8. 网络吞吐量 Network Throughput
网络吞吐量是指在无网络故障的情况下单位时间内通过的网络的数据数量。单位为 Byte/s。
网络吞吐量指标用于衡量系统对于网络设备或链路传输能力的需求。当网络吞吐量指标接近
网络设备或链路最大传输能力时，则需要考虑升级网络设备。
网络吞吐量指标主要有每秒有多少兆流量进出，一般情况下不能超过设备或链路最大传输能
力的 70%
2. 并发计算方式
在做性能测试的时候，传统方式都是用并发用户数来衡量系统的性能，觉得系统能支撑的并
发用户数越多，系统的性能就越好；同时对 TPS 不是非常理解，也根本不知道它们之间的
关系，因此非常有必要进行解释。因为 TPS 模式（吞吐量模式）是一种更好的方式衡量服
务端系统的能力。并发用户=TPS(吞吐量)*RT(响应时间)
第一个公式:根据在线用户的峰值计算并发量
第二个公式:根据 pv 数量，计算并发量
PV(访问量)：即 Page View, 即页面浏览量或点击量，用户每次刷新即被计算一次。
假设:pv 数是 1000w
80~20 原则：根据统计学原理，采用 80~20 原则计算并发用户数。
TPS=每秒钟的请求数量=1000w*80%/(18*3600*20%)=616/s
设置并发?经验值（经验因子 3-5）
并发数量 VU=TPS*经验因子=616*5=3080
TPS 获取新系统：没有历史数据作参考，只能通过业务部门进行评估。
旧系统：对于已经上线的系统，可以选取高峰时刻，在 5 分钟或 10 分钟内，获取系统每笔
交易的业务量和总业务量，按照单位时间内完成的笔数计算出 TPS，即业务笔数/单位时间。

2.1. 总结
 系统的性能由 TPS 决定，跟并发用户数没有绝对关系，绝对有关系..
 系统的最大 TPS 是一定的（在一个范围内），但并发用户数不一定，可以调整。
 建议性能测试的时候，不要设置过长的思考时间，以最坏的情况下对服务器施压。
 一般情况下，大型系统（业务量大、机器多）做压力测试，10000～50000 个用户
并发，中小型系统做压力测试，5000 个以内的并发用户并发比较常见。

3. 性能测试基本流程性能测试需求:
1) 最终用户体验，例如 2-5-10 原则，即按照正常用户体验，如果用户能够在 2
秒内得到响应，会感觉速度很快，如果 2-5 秒得到响应，用户感觉系统的响应速
度还不多，在 5-10 秒之内得到响应时，用户会感觉系统的响应速度慢，但是可
以接受，超过 10 秒后还没有响应，用户就会感觉不能够接受。
2) 技术需求, cpu，内存，网络吞吐量，磁盘吞吐量
3) 标准要求:
竞品分析-
响应时间
 互联网企业：500 毫秒以下，例如淘宝业务 10 毫秒左右。
 金融企业：1 秒以下为佳，部分复杂业务 3 秒以下。
 保险企业：3 秒以下为佳。
 制造业：5 秒以下为佳。
TPS
 金融行业：1000TPS~9000TPS，不包括互联网化的活动
 保险行业：100TPS~1000TPS，不包括互联网化的活动
 制造行业：10TPS~50TPS
 互联网电子商务：10000TPS~100000TPS,例如天猫 5 万 TPS
 互联网中型网站：100TPS~500TPS
 互联网小型网站: 50TPS~100TPS
需求应该是量化的指标，响应时间 2s，tps 要到 500/s,cpu 不得超过 75%。
性能测试计划
测试环境，测试需求，测试方法，测试时间表，测试组织架构，测试风险，输入
输出文档
性能测试步骤: