本文主要介绍何时开展性能测试,如何开展性能测试,性能测试的开展需要做哪些准备。
一、性能测试三连问
何时进行性能测试?
性能测试的工作是基于系统功能已经完备或者已经趋于完备之上的,在功能还不够完备的情况下没有多大的意义。因为后期功能完善上会对系统的性能有影响,过早进入性能测试会出现测试结果不准确、浪费测试资源。因此,性能测试首先是基于功能测试的,必须了解其功能需求才能开展性能测试。
如何进行性能测试?
一个被测系统,我们需要分3部分来分析:
入口:需要怎么发送请求,施压方应该施加多大的压力,用什么方法施压;
被测系统:系统怎么应对单个请求,系统业务流程是怎么样的,系统网元节点、数据流向等,整体性能需求有没有,需要考察哪些指标,怎么监控;
出口:接收数据有哪些,怎么获取和比对;
是不是感觉就和功能测试差不了多少?是的,就是先分析单个用户的功能流程以及系统的数据流向(包括后台的数据流向)结构图,然后再考虑大量的用户操作。
开展性能测试的步骤?
一般系统的性能测试步骤大体如下:
1.确认测试目标;
2.分析被测系统业务需求;
3.分析被测系统的系统结构;
4.分析被测系统的性能测试点;
5.设计测试方案、检测方案和测试案例;
6.选择测试工具;
7.测试开发;
8.测试执行;
9.测试结果分析;
10.测试调优、测试验证、测试分析;
11.输出测试报告;
二、性能测试开展前的准备
测试准备工作越充分,后期的测试执行越顺利,一般测试准备工作如下:
1.确认测试目标;
2.分析被测系统的业务;
3.分析被测系统的结构;
4.分析被测系统可能产生性能瓶颈的节点;
5.设计测试方案、检测方案和测试方案;
以下具体分析以上5个步骤:
确认测试目标
任何一个任务首先都要确认任务的目标是什么,如果不知道目标,任何努力得到的结果有可能都不是最终所需要的结果。性能测试也一样,首先需要确立明确的目标。无论是随机测试系统的当前性能情况,还是奔着对系统进行优化而去,或是检验一下系统的性能是否满足需求等等,这些都是开展性能测试之前的一个目标。之后的分析到方案和用例设计,到测试执行监控,再到最后的测试分析和报告,都是要围绕这个目标展开。所以,首要的任务就是确认测试的目标要求,需要达到怎样的一个测试目的和目标。
假如有一些测试任务没有明确的目标或者要求,并不说明它没有目的和目标,这需要我们进行沟通和分析。及时与项目组达成一致的目的要求,分析需求,分析系统,最后明确项目或者系统测试任务的目的要求。
分析被测系统的业务
朋友曾经在一次面试中,有一位面试官给了他这样一个题目:“有一个网站,只知道它的总访问量一天是300万,怎么测试它的性能?”
大家想一想要怎么设计方案?
猜想面试官是想面试者回答,正态分布、二八原理等基本的测试原则应用。朋友当时没有回答任何与正态分布、二八原理相关的东西。当时面试官对他的回答好像是“蔑视”的笑了笑,可能是觉着连基本的正态分布、二八原理都不知道,还搞性能测试?。其实,性能测试并不是想象的那样简单,并不是一个简单的原理的应用就行的,如果这么容易,那岂不是谁都能搞定。
性能测试的基础是基于系统的业务功能基本趋于稳定,首要的任务就是性能在系统满足业务功能需求上展开,因此我们必须要分析系统的业务。不管是普通的网站也好还是比较专业的系统也好,它都是有业务功能需求,所有的性能测试都要基于这些功能才能进行,脱离了业务功能的性能测试没有意义。性能测试首要的任务就是分析系统的业务功能,分析系统业务上的性能限制,也就是业务需求。
那么,怎么分析系统的业务需求呢?
如果有用户需求规格说明,首要的任务就是阅读和理解分析用户需求规格说明;
如果没有用户需求规格说明,那么就需要分析系统功能,提炼出系统的业务需求。如果可能,项目组比较熟悉的人讲述一遍是最好的了。
最后无论哪一种,最好的方法就是按照自己的理解画出系统的业务流程或者系统的功能结构图,拿到项目组进行确认。一定要进行确认,和整个项目组达成一致的认同。
有人会问,我们项目组没有可确认的业务需求时候怎么办?
首先依然需要从分析入手。如果不分析,你就不会知道系统的功能数据流向,请求的数据构成,系统的网元结构,以及系统可能出现的瓶颈在哪一个节点,你又怎么进行优化呢?
当然面对一种全新的知识领域的时候,可能需要我们多积累经验,更多的进行分析;我们可能需要结合实践,多次实际运行系统或者执行测试,在测试中不断的进行优化和完善我们的分析过程、分析结果、测试方案、测试开发甚至是测试执行等等。
分析被测系统的业务,有时候不是一蹴而就,需要我们进行多次反复的分析、确认和再分析、再确认,直到把系统弄明白,甚至有可能在测试执行的最后阶段你还需要再次进行分析和确认,然后重新规划测试。
分析被测系统的结构
系统的结构和系统的业务一样重要,不知道系统的网元结构可能就没有办法进行监控,就没有办法知道瓶颈在哪个节点,就不能进行优化。
分析系统的结构,最好的方法就是项目组提供系统的部署和构成图;如果项目组不能提供或者没有项目组,那就需要用TCPDUMP等抓包工具,分析数据流向。
TCPDUMP的使用:
-
bash
-
tcpdump tcp -i eth1 -t -s 0 -c 100 and dst port ! 22 and src net 192.168.1.0/24 -w ./target.cap
-
(1)tcp: ip icmp arp rarp 和 tcp、udp、icmp这些选项等都要放到第一个参数的位置,用来过滤数据报的类型;
-
(2)-i eth1 : 只抓经过接口eth1的包;
-
(3)-t : 不显示时间戳;
-
(4)-s 0 : 抓取数据包时默认抓取长度为68字节。加上-S 0 后可以抓到完整的数据包;
-
(5)-c 100 : 只抓取100个数据包;
-
(6)dst port ! 22 : 不抓取目标端口是22的数据包;
-
(7)src net 192.168.1.0/24 : 数据包的源网络地址为192.168.1.0/24;
-
(8)-w ./target.cap : 保存成cap文件,方便用ethereal(即wireshark)分析;
从第一个节点分析流向到哪,确定第二层的节点;然后从第二层每个节点分析第三层节点,逐层分析,完善系统的数据流向的所有结构层次和节点;再弄明白每个节点部署的应用程序或者进程队列;对每一个节点的应用程序或者进程队列进行测试监控;最后才能得出哪些应用或者进程队列需要进行优化。
弄明白系统的节点构成之外,还需要弄明白各个节点之间的通讯协议和数据格式,之后测试工具选择和测试数据准备以及测试脚本开发就需要以此作为依据。这一切的基础就是要分析和弄明白系统的所有节点,也就是要分析清楚系统的结构。
分析系统可能的性能瓶颈
分析系统的业务需求和系统的结构组成,同时预判系统可能存在的性能瓶颈,这是分析中的一个目标;得到预判的性能瓶颈后我们后面需要在监控的时候多注意一下这些节点。
当然有一些常见的可能会是系统瓶颈的节点我们需要注意:
1.登录,一般系统登录要进行多种校验,可能数据交互比较频繁;
2.下单,抢单、抢红包这个时候会有一定量的并发需求;
3.大数据的查询、统计和报表分析,会对系统产生压力;
4.视频、动画等会对网络产生压力;
5.消息比较集中的系统功能节点,会对系统产生压力;
6.一些特殊的业务需求会对系统产生压力;
常见的瓶颈:
1.数据库的瓶颈一般在磁盘IOPS过高造成进程阻塞;
2.系统进程数过多一般会消耗系统的内存空间;
3.消息队列和缓存服务,开启持久化后会需要考察磁盘IOPS,不开启持久化则需要考察内存占用;
4.频繁的管道开辟和销毁会导致CPU占用较高;
5.有部分程序结构上不能利用多个CPU;
在分析业务和系统结构的过程中,我们就需要考虑这个业务点或者结构点会不会有大量的数据访问,会不会产生压力,我们的设计会不会产生性能瓶颈。
测试计划和测试用例的设计
测试计划的设计以及最后测试总结文档的形成,实际就是所有分析工作的总结。
写测试计划的过程就是明确测试目的、分析业务需求、系统结构以及评估测试方法、测试安排、测试风险等等的过程总结。而这些全部来源于在测试执行之前的分析,有时候可能你在测试过程中还需要做出一些分析和调整。
测试计划包含了分析和整理的各个方面,一个好的测试计划包含的内容:测试目的、测试目标、测试内容(可能包含业务性能、可靠性、稳定性等等),业务需求目标,系统业务构成,系统节点构成,测试方法流程,需要监控的指标要求和节点等等。
测试用例一般包含在测试计划中,测试用例实际上就是普通的业务操作流程,用测试工具或者其他测试手段来模拟大的数据量业务操作,并对系统的各个节点进行监控,获取监控数据。预期的监控数据和实际监控数据的对比,满足要求就是预期要求,实际对比结果就是测试结果。
测试前的准备
环境搭建:测试环境搭建这一步工作量不大,如果有必要可以请开发协助配置完成。
场景建模:考虑哪些场景下可能存在性能瓶颈,相应的设置对应的测试脚本和测试逻辑,以尽可能模拟生产环境( 一定要熟悉系统业务,因为需求的产生,就是用户+场景)。
测试数据准备:测试数据准备常用的有这两种方式:将生产数据复制一份过来、开发脚本预埋造数据(但无论哪种,一定要注意数据隔离,防止数据污染)。
测试脚本开发:首先,需要从开发那里获取开发接口文档和数据库表设计文档。然后,通过工具或者写测试脚本调试接口,先保证接口可以成功调用。
三、性能测试的正式开展
执行测试脚本
在保证接口可以成功调用之后,先进行单接口基准测试,即:对一个接口进行压力测试,不断加压,直到响应时间达到或超过指标,观察当前其并发数和TPS。同样的并发数,多执行几次,得到一个平均值或稳定值(即TPS和TRT曲线相对稳定的值),并记录下来。
记录的目的是通过直观的数据变化,得到单个接口的最大TPS和不同并发情况下的响应时间变化。
“80%的性能瓶颈可以通过分析TPS和TRT的数值变化得到”。虽然有点片面,但也不失为一种方法。比如按照上图记录的数值变化来看,很明显领券接口性能极差,这时候就可以告知开发,通过查看log、检查代码、SQL语句等方法来查询原因。当然个人能力足够的话,这些可以自己来做。
监控调试
所谓的监控调试,就是一个不断调整重复的过程,这个需要根据性能测试的目的去判断具体如何执行。
Jmeter本身就用监听器这个元件提供了一定的监听数值报告元件,但毕竟是开源工具,其本身的组件功能不够强大,可以通过下载支持jmeter的增强型功能插件来进行监控。
Jmeter插件下载地址:https://jmeter-plugins.org/
下载后可以解压缩,将plugins-manager.jar放入jmeter安装目录lib/ext,然后重启Jmeter即可,可以通过点击下图圈出来的按钮检验是否成功安装:
无论是对服务器资源使用率还是测试数据报表生成,甚至TPS、TRT等的监听,该插件都提供了组件支持,具体使用方法自行探索。
分析和调优
性能测试除了为获取性能指标外,更多是为了发现性能瓶颈和性能问题,然后对性能问题和瓶颈进行分析和调优,在当今互联网高速发展的时代,性能调优的模型可以归纳总结如下图所示。
性能调优就是不断采集系统中的性能指标以及系统模型中各层的资源消耗,从中发现性能瓶颈和性能问题,然后对瓶颈和问题进行分析诊断来确定性能调优方案,最后通过性能压测进行验证调优方案是否有效,如果无效继续重复这个过程进行性能分析,直到调优方案有效,瓶颈和问题得到解决。这个过程一般是非常漫长,因为很多时候性能调优方案往往不是一次就能有效或者一次就能解决所有的瓶颈和问题,或者解决了当前的瓶颈和问题,但是继续性能压测又可能会出现新的瓶颈和问题。
输出测试报告
根据以上几个步骤,得到测试结果,分析系统存在的瓶颈,然后采用各种方法提出解决方案或优化建议,最后对本次性能测试进行一个完整的总结,这样,一次性能测试就完成了。在整个过程中,费时较长一般是在测试数据准备和测试执行以及监控调优阶段。
性能测试路漫漫其修远兮,想要进一步真正做好性能测试还需上下求索。
最后:
为了助力软件测试员朋友们跳槽面试、升职加薪、职业困境,提高自己的技术,本文给大家整了一套涵盖测试所有技术栈的快速学习方法和笔记。目前已经收到了上百人网友的反馈,说是面试问到了很多这里面的知识点。
内容包含了:测试理论、Linux基础、MySQL基础、Web测试、接口测试、App测试、管理工具、Python基础、Selenium相关、性能测试、LordRunner相关等,希望能帮助到有心在技术这条道路上一路走到黑的朋友!
通过大数据总结发现,其实软件测试岗的面试都是差不多的。常问的有下面这几块知识点:
测试理论(测试基础+需求分析+测试模型+测试计划+测试策略+测试案例等等)
Linux( Linux基础+Linux练习题)
MySQL(基础知识+查询练习+万年学生表经典面试题汇总+数据库企业真题)
Web测试
API测试
App测试
管理工具
Python基础(Python基础+编程题+集合+函数+Python特性等等)
Selenium相关
性能测试
LordRunner相关
计算机网络
组成原理
数据结构与算法
逻辑题
人力资源
一、软件测试基础
软件测试的步骤是什么?
如何录制测试脚本?
应该考虑进行如何测试的测试方法
怎样估计测试工作量?
测试设计的问题
当测试过程发生错误时,有哪几种解决办法?
测试执行的问题
测试评估的目标
如何提高测试?
C/S模式的优点和缺点
B/S模式的优点和缺点
…
二、Linux
grep和find的区别? grep 都有哪些用法?
查看IP地址?
创建和删除一个多级目录?
在当前用户家目录中查找haha.txt文件?
如何查询出tomcat的进程并杀掉这个进程,写出linux命令?
动态查看日志文件?
查看系統硬盘空间的命令?
查看当前机器listen 的所有端口?
…
三、Python
统计python源代码文件中代码行数,去除注释,空行,进行输出?
python调用cmd并返回结果?
冒泡排序
1,2,3,4 这4个数字,能组成多少个互不相同的且无重复的三位数,都是多少?
请用 python 打印出 10000 以内的对称数(对称数特点:数字左右对称,如:1,2,11,121,1221 等)
给定一个整数 N,和一个 0-9 的数 K,要求返回 0-N 中数字 K 出现的次数
判断 101-200 之间有多少个素数,并输出所有的素数
一个输入三角形的函数,输入后输出是否能组成三角形,三角形类型,请用等价类- 划分法设计测试用例
…
四、MySQL
你用的Mysql是哪个引擎,各引擎之间有什么区别?
如何对查询命令进行优化?
数据库的优化?
Sql注入是如何产“生的,如何防止?
NoSQL和关系数据库的区别?
MySQL与MongoDB本质之间最基本的差别是什么
Mysql数据库中怎么实现分页?
Mysql数据库的操作?
优化数据库?提高数据库的性能?
什么是数据的完整性?
…
五、Web
- Web测试和app测试区别?
- WEB测试环境搭建和测试方法
- WEB测试教程
- WEB测试要点及基本方法
- Web测试页面总结
- …
六、接口测试
什么是接口
如果模块请求http改为了https,测试方案应该如何制定,修改?
常用HTTP 协议调试代理I具有什么?详细说明抓取HTTPS协议的设置过程?
描述TCP/IP协议的层次结构,以及每一-层中重要协议
jmeter,一个接口的响应结果如下:
接口产生的垃圾数据如何清理
依赖第三方的接口如何处理
测试的数据你放在哪?
什么是数据驱动,如何参数化?
…
七、性能测试
你认为性能测试的目的是什么?做好性能测试的工作的关键是什么?
服务端性能分析都从哪些角度来进行?
如何理解压力测试,负裁测试以及性能测试?
如何判断是否有内存泄漏及关注的指标?
描述软件产“生内存泄露的原因以及检查方式。(可以结合- 种开发语言进行描述)
简述什么是值传递,什么是地址传递,两者区别是什么?
什么是系统瓶颈?
…
八、selenium
如何开展自动化测试框架的构建?
如何设计自动化测试用例:
webdriver如何开启和退出一个浏览器?
什么是自动化测试框架?
Selenium是什么,流行的版本有哪些?
你如何从命令行启动Selenium RC?
在我的机器端口4444不是免费的。我怎样才能使用另一个端口?
什么是Selenium Server,它与Selenium Hub有什么不同?
你如何从Selenium连接到数据库?
你如何验证多个页面上存在的一个对象?
XPath中使用单斜杠和双斜杠有什么区别?
如何编写SeleniumIDE/ RC的用户扩展?
如何在页面加载成功后验证元素的存在?
你对Selenium Grid有什么了解?它提供了什么功能?
如何从你的Java Class启动Selenium服务器?
Selenium中有哪些验证点?
什么是XPath?什么时候应该在Selenium中使用XPath?
…
九、计算机与网络
一台计算机的IP是192.168.10.71子网掩码255.255.255.64与192.168.10.201 …
请简述DNS、活动目录、域的概念。
10M兆宽带是什么意思?理论下载速度是多少?
什么是IP地址?
OSI七层网络模型的划分?
TCP和UDP有什么不同?
HTTP属于哪一层的协议?
HTTP和HTTPS的区别?
cookies和session的区别?
HTTP的get请求和post请求的区别?
HTTP1.0和HTTP1.1有什么区别
TCP的连接建立过程,以及断开过程?
客户端使用DHCP获取IP的过程?
写出某个网段的网络地址和广播地址?
…
十、人力资源
你的测试职业发展是什么?你自认为做测试的优势在哪里?
你找工作时,最重要的考虑因素为何?
为什么我们应该录取你?
请谈谈你个人的最大特色。
一个测试工程师应具备那些素质和技能?
还有问一下你是怎样保证软件质量的,也就是说你觉得怎样才能最大限度地保证软件质量?
为什么选择测试这行?
如果我雇用你,你能给部门带来什么贡献?
…
最后
整份文档一共有将近 200 页,全部为大家展示出来肯定是不太现实的,为了不影响大家的阅读体验就只展示了部分内容,还望大家海涵,希望能帮助到您面试前的复习且找到一个好的工作,也节省大家在网上搜索资料的时间来学习!