性能测试基础

1、哪个函数是用来截取虚拟用户脚本中的动态值？（手工关联）Web_reg_save_param
2、你如何识别系统瓶颈？ 从TPS 指标分析（即系统每秒处理可处理事务数）当前随着用户数的增长其系统每秒可处理的 事务数是否也会增长
3、think_time 有什么用？ Think_time 作用主要有以下几种： 1）降低当前运行时压力，缓解对应用服务器所造成的压力 2）模拟真实生产用户操作，考察对服务器所造成的影响
4、一般什么时候开始进行性能测试 被测系统的正常业务流程通过，即集成测试通过后。
5、进行参数化的目的 1）减少脚本的大小 2）提供不同的值以提高执行脚本的能力，从而更加真实的模拟生产环境的数据
6、容量测试方法中为什么要以逐步递增的的方式进行 虚拟用户数随着负载时间的延长而增加，可以帮助确定系统响应时间减慢的准确时间点以及准 确用户数
7、假设在测试过程中发现某些事务的响应时间过长，但分析应用服务、数据库服务以及网络都属 于正常现象，问题可能出现的原因 1）LR 客户端机器是否已无法承载当前运行压力导致LR 无法及时获取从服务端返回的信息 2）Think_time（即思考时间）是否已忽略 3）确定当前被测系统架构，是否为在每次测试过程中清除缓存所导致
8、如何发现应用服务的相关问题？ 1）通过某些事务的运行，判断是否在应用代码层未进行调优导致事务响应事件过长 2）通过实时监控工具（nmon 等）监控分析： 系统在运行过程其CPU是否稳定运行或CPU 耗用是否过高 在系统运行过程中其内存是否存在内存泄露现象3）打开应用相应日志，分析在运行过程中是否存在交易报错并获取错误原因查看是否由于代 码原因导致交易错误发生
9、如何发现数据库的相关问题？ 1）通过运行某些相应的已获取的SQL 语句，判断是否由于数据库索引所导致的事务响应过长 的问题发生 2）通过实时监控工具(nmon 等)监控分析: 在系统运行过程中CPU是否可稳定运行或CPU 耗用过高； 在系统运行过程中其内存是否存在内存泄露等现象。
10、 解释以下函数及他们的不同之处。 Lr_debug_message 发送调试信息到输出窗口或相应日志内，即调试日志 Lr_output_message 发送日志信息到输出窗口或相应日志内，即INFO 日志 Lr_error_message 发送错误日志信息到输出窗口或相应日志内，即ERROR 日志 Lrd_stmt 赋予一个SQL 语句用于处理 Lrd_fetch 获取结果集中的下一行数据
11、 常见的性能测试方法有哪些？以及每类测试方法的目的是什么？ 1）基准测试：确保测试环境无问题，初步评估每次只是单独运行一个交易时，当前系统的响应 时间是否够快，各服务器的CPU、内存耗用是否合理; 2）单一交易并发测试：确保数据库不存在线程死锁等问题，评估在只是单独运行一个交易时， 其系统的响应时间是否够快，各服务器的CPU、内存耗用是否合理。 3）混合场景测试：模拟真实生产场景，评估其系统各交易的响应时间是否够快，各服务器的 CPU、内存是否合理。 4）浪涌测试场景：模拟高峰与低峰业务处理量，评估系统各服务器的CPU、内存耗用是否合理。 5）稳定性测试场景：模拟不间断运行系统，评估系统是否可高效不间断稳定运行。 6）容量测试场景：通过不间断逐步加大用户数或业务处理量，确定在特定环境下，预测其系统 所能承载的最大用户并发数或最大的业务处理量，从而为项目组提供扩容依据。
12、 解释几个常用的性能指标的名称与具体含义。 1）事务：（全称：transaction），单位：个，即用户在准备进行一个操作到完成操作的过程 2）思考时间：（全称：thinktime），单位：秒，一般与事务组合使用，例如在A 事务后或者在 事务前增加一个2秒的思考时间，即指每2 秒钟运行一次A 事务 3）集合点：（全称：rendezous），一般与事务组合使用，例如在A 事务前增加一个集合点，且 用户并发数为10 用户并发，即指10 用户每次均需完全到达这个集合点后，在一次性进行并发发起 请求，在性能测试中，通常将未设置集合点的并发叫做广义并发（因系统处理能力有限，存在排队 概念，因此会导致用户发起的请求顺序有先有后），将设置集合点的并发叫做狭义并发（即客户端一 次性想服务器发起请求），一般，性能测试所采用的模式为广义并发模式。 4）事务响应时间：（全称:transaction response time），单位：秒。其主要作用为评估当前系统 的响应时间的快慢。 5）事务TPS：(全称transaction per second),事务处理能力，单位：笔/秒，其主要作用为评估当 前服务器的处理能力。 6）并发用户数：（全称:Running vusers），单位：个，其主要作用为用来评估当前服务器的负载 压力。并发用户数的计算公式：事务响应时间事务TPS并发用户数 7）吞吐量：（全称：throughput），单位：字节，即指客户端在向服务器端发起请求后，其服务 器的返回信息。吞吐量的计算公式为：总事务TPS总返回字节数运行时间吞吐量。 8）点击数：（全称hits per second），单位；次/秒，即每秒客户端向服务器端发起的总请求数， 其主要作用为用来评估当前服务器的负载压力。 9）通过事务数：单位：个，即系统在运行一段时间内其事务的总计完成事务数 10）失败事务数：单位：个，即系统在运行一段时间内其事务的总计完成失败事务数 11）事务通过率：即指系统在运行一段时间内其事务完成的成功率。其主要作为是用来评估当前系统的稳定运行处理能力。事务通过率的计算公式：成功事务数/成功事务数+失败事务数100% 12）CPU 资源利用率,即系统在运行一段时间内，其各相关服务器CPU 的资源耗用情况

13、 请问您是如何得到性能测试需求？怎样针对需求设计、分析是否达到需求？ 1)在查看需求文档，从中提取性能测试需求，与用户交流，了解实际使用情况。 2)结合业务信息设计操作场景总结出需测试的性能关键指标。 3)执行用例后根据提取关键性能指标来分析是否满足性能需求。
14、 客户交付一个性能测试项目，请阐述你的实施流程 测试设计阶段： 1）了解被测系统的性能需求，定义测试目标与范围； 2）了解系统的技术信息，如系统架构 3）确定测试方案，进度安排，并制定测试计划，场景设置方案及需收集的测试数据 4）同相关人员协商讨论测试方案 5）准备测试收集模板，不同项目的性能测试，需收集的数据不同，针对性的制定一个模板更 符合需要 测试环境准备 1）技术准备：选择性能测试工具，测试方案中涉及到的技术问题;测试数据的收集方案实现； 如：如何监控系统资源等； 2）搭建测试环境 3）创建初始数据：如虚拟用户使用的账号等； 测试执行阶段： 1）录制脚本 2）调试脚本 3）执行场景； 4）收集测试数据，并简单整理 测试分析阶段： 1）分析测试数据 提交测试报告

常见性能瓶颈分析 重点:TPS上不去、负载不均衡、高并发下大量请求报错、TPS波动大
系统吞吐量（TPS）、用户并发量、性能测试概念和公式
转载

PS：下面是性能测试的主要概念和计算公式，记录下：
一．系统吞度量要素：
一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。
单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。
系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间
QPS（TPS）：每秒钟request/事务 数量
并发数： 系统同时处理的request/事务数
响应时间： 一般取平均响应时间
（很多人经常会把并发数和TPS理解混淆）
理解了上面三个要素的意义之后，就能推算出它们之间的关系：
QPS（TPS）= 并发数/平均响应时间
//TPS = 总请求数 /请求时间

    一个系统吞吐量通常由QPS（TPS）、并发数两个因素决定，每套系统这两个值都有一个相对极限值，在应用场景访问压力下，只要某一项达到系统最高值，系统的吞吐量就上不去了，如果压力继续增大，系统的吞吐量反而会下降，原因是系统超负荷工作，上下文切换、内存等等其它消耗导致系统性能下降。

决定系统响应时间要素
我们做项目要排计划，可以多人同时并发做多项任务，也可以一个人或者多个人串行工作，始终会有一条关键路径，这条路径就是项目的工期。
系统一次调用的响应时间跟项目计划一样，也有一条关键路径，这个关键路径是就是系统影响时间；
关键路径是有CPU运算、IO、外部系统响应等等组成。
二．系统吞吐量评估：
我们在做系统设计的时候就需要考虑CPU运算、IO、外部系统响应因素造成的影响以及对系统性能的初步预估。
而通常境况下，我们面对需求，我们评估出来的出来QPS、并发数之外，还有另外一个维度：日PV。
通过观察系统的访问日志发现，在用户量很大的情况下，各个时间周期内的同一时间段的访问流量几乎一样。比如工作日的每天早上。只要能拿到日流量图和QPS我们就可以推算日流量。
通常的技术方法：
1. 找出系统的最高TPS和日PV，这两个要素有相对比较稳定的关系（除了放假、季节性因素影响之外）
2. 通过压力测试或者经验预估，得出最高TPS，然后跟进1的关系，计算出系统最高的日吞吐量。B2B中文和淘宝面对的客户群不一样，这两个客户群的网络行为不应用，他们之间的TPS和PV关系比例也不一样。

A)淘宝
淘宝流量图：

淘宝的TPS和PV之间的关系通常为 最高TPS：PV大约为 1 : 113600 （相当于按最高TPS访问11个小时，这个是商品详情的场景，不同的应用场景会有一些不同）
B) B2B中文站
B2B的TPS和PV之间的关系不同的系统不同的应用场景比例变化比较大，粗略估计在1 : 8个小时左右的关系（09年对offerdetail的流量分析数据）。旺铺和offerdetail这两个比例相差很大，可能是因为爬虫暂的比例较高的原因导致。
在淘宝环境下，假设我们压力测试出的TPS为100，那么这个系统的日吞吐量=10011*3600=396万
这个是在简单（单一url）的情况下，有些页面，一个页面有多个request，系统的实际吞吐量还要小。
无论有无思考时间（T_think），测试所得的TPS值和并发虚拟用户数(U_concurrent)、Loadrunner读取的交易响应时间（T_response）之间有以下关系（稳定运行情况下）：
TPS=U_concurrent / (T_response+T_think)。
并发数、QPS、平均响应时间三者之间关系

软件性能测试的基本概念和计算公式
一、软件性能的关注点
对一个软件做性能测试时需要关注那些性能呢？
我们想想在软件设计、部署、使用、维护中一共有哪些角色的参与，然后再考虑这些角色各自关注的性能点是什么，作为一个软件性能测试工程师，我们又该关注什么？
首先，开发软件的目的是为了让用户使用，我们先站在用户的角度分析一下，用户需要关注哪些性能。
对于用户来说，当点击一个按钮、链接或发出一条指令开始，到系统把结果已用户感知的形式展现出来为止，这个过程所消耗的时间是用户对这个软件性能的直观印象。也就是我们所说的响应时间，当相应时间较小时，用户体验是很好的，当然用户体验的响应时间包括个人主观因素和客观响应时间，在设计软件时，我们就需要考虑到如何更好地结合这两部分达到用户最佳的体验。如：用户在大数据量查询时，我们可以将先提取出来的数据展示给用户，在用户看的过程中继续进行数据检索，这时用户并不知道我们后台在做什么。
用户关注的是用户操作的相应时间。
其次，我们站在管理员的角度考虑需要关注的性能点。
1、 相应时间
2、 服务器资源使用情况是否合理
3、 应用服务器和数据库资源使用是否合理
4、 系统能否实现扩展
5、 系统最多支持多少用户访问、系统最大业务处理量是多少
6、 系统性能可能存在的瓶颈在哪里
7、 更换那些设备可以提高性能
8、 系统能否支持7×24小时的业务访问
再次，站在开发（设计）人员角度去考虑。
1、 架构设计是否合理
2、 数据库设计是否合理
3、 代码是否存在性能方面的问题
4、 系统中是否有不合理的内存使用方式
5、 系统中是否存在不合理的线程同步方式
6、 系统中是否存在不合理的资源竞争
那么站在性能测试工程师的角度，我们要关注什么呢？
一句话，我们要关注以上所有的性能点。
二、软件性能的几个主要术语
1、响应时间：对请求作出响应所需要的时间
网络传输时间：N1+N2+N3+N4
应用服务器处理时间：A1+A3
数据库服务器处理时间：A2
响应时间=N1+N2+N3+N4+A1+A3+A2
2、并发用户数的计算公式
系统用户数：系统额定的用户数量，如一个OA系统，可能使用该系统的用户总数是5000个，那么这个数量，就是系统用户数。
同时在线用户数：在一定的时间范围内，最大的同时在线用户数量。
同时在线用户数=每秒请求数RPS（吞吐量）+并发连接数+平均用户思考时间
平均并发用户数的计算：C=nL / T
其中C是平均的并发用户数，n是平均每天访问用户数（login session），L是一天内用户从登录到退出的平均时间（login session的平均时间），T是考察时间长度（一天内多长时间有用户使用系统）
并发用户数峰值计算：C^约等于C + 3根号C
其中C^是并发用户峰值，C是平均并发用户数，该公式遵循泊松分布理论。
3、吞吐量的计算公式
指单位时间内系统处理用户的请求数
从业务角度看，吞吐量可以用：请求数/秒、页面数/秒、人数/天或处理业务数/小时等单位来衡量
从网络角度看，吞吐量可以用：字节/秒来衡量
对于交互式应用来说，吞吐量指标反映的是服务器承受的压力，他能够说明系统的负载能力
以不同方式表达的吞吐量可以说明不同层次的问题，例如，以字节数/秒方式可以表示数要受网络基础设施、服务器架构、应用服务器制约等方面的瓶颈；已请求数/秒的方式表示主要是受应用服务器和应用代码的制约体现出的瓶颈。
当没有遇到性能瓶颈的时候，吞吐量与虚拟用户数之间存在一定的联系，可以采用以下公式计算：F=VU * R / T
其中F为吞吐量，VU表示虚拟用户个数，R表示每个虚拟用户发出的请求数，T表示性能测试所用的时间
4、性能计数器
是描述服务器或操作系统性能的一些数据指标，如使用内存数、进程时间，在性能测试中发挥着“监控和分析”的作用，尤其是在分析统统可扩展性、进行新能瓶颈定位时有着非常关键的作用。
资源利用率：指系统各种资源的使用情况，如cpu占用率为68%，内存占用率为55%，一般使用“资源实际使用/总的资源可用量”形成资源利用率。
5、思考时间的计算公式
Think Time，从业务角度来看，这个时间指用户进行操作时每个请求之间的时间间隔，而在做新能测试时，为了模拟这样的时间间隔，引入了思考时间这个概念，来更加真实的模拟用户的操作。
在吞吐量这个公式中F=VU * R / T说明吞吐量F是VU数量、每个用户发出的请求数R和时间T的函数，而其中的R又可以用时间T和用户思考时间TS来计算：R = T / TS
下面给出一个计算思考时间的一般步骤：
A、首先计算出系统的并发用户数
C=nL / T F=R×C
B、统计出系统平均的吞吐量
F=VU * R / T R×C = VU * R / T
C、统计出平均每个用户发出的请求数量
R=uC*T/VU
D、根据公式计算出思考时间
TS=T/R