软件性能测试的目标是识别应用程序中的所有性能瓶颈。一个软件系统的性能不仅取决于系统本身的设计和编码,而且取决于系统所依赖的运行环境。系统的运行环境会依赖于一些关键因素,例如:系统架构、硬件配置、网络带宽、配套的软件如数据库和中间件等、以及外部的负载大小。
系统性能的改善是测试、调整、再测试、再调整……的一个持续改进的过程,即性能调优,根据性能测试的结果对软件的设计,代码,系统的配置进行调整。
性能测试的类型
性能测试主要包含6种类型,如下表所示。
类型 | 说明 |
负载测试 | 确定软件在给定时间内随着工作负载增加的运行方式,工作负载可以是并发用户、事务数、软件行为等。在被测系统上不断增加压力,直到性能指标(如响应时间)超过预期指标或者某种资源使用已经达到饱和状态。可以找到系统的处理极限,为系统调优提供数据。 |
压力测试 | 测量超出正常工作参数、更高的流量负载(更多用户、事务等)下的软件稳定性,即系统在一定饱和状态下,例如CPU、内存、磁盘空间等硬件资源饱和的情况下,系统能够处理的会话能力,以及系统是否会出现错误。 |
稳定性测试 | 评估软件在一个固定的常规工作负载下的长期性能。换句话说,它决定了软件能够承受恒定的工作负载多长时间以提供长期的可持续性。在测试期间,测试团队监控KPI,如内存泄漏、内存使用、内存不足等。稳定性测试还分析长时间使用后的响应时间和吞吐量,以观察这些指标是否一致。 |
尖峰测试 | 尖峰测试是一种压力测试,它测量软件在显著的、突然的工作负载增加(如用户并发数量)情况下的性能。软件是否能够反复快速地处理突然增加的工作负载。 |
容量测试 | 测试软件在处理大量数据时的效率,用于检查数据丢失、系统响应时间、数据存储可靠性等。 |
可伸缩性测试 | 测量软件在处理不断增加的工作量方面的有效性。可以通过在监视软件性能的同时逐渐添加数据量或用户来执行可伸缩性测试。 |
如今,随着DevOps的发展,性能测试已经上升为软件系统全生命周期性能工程。本文从五个方面介绍性能测试的工具和解决方案:客户端性能测试、服务端性能测试、分布式系统的应用性能监控、分布式系统的全链路压测。
Google Lighthouse
PerfDog
Monkey
Monekyrunner
mobileperf
Pyroscope
MemoryLeakDetector
JMeter
LoadRunner
Webload
Gatling
k6
Vegata
Locust
Skywalking
Pinpoint
客户端性能测试工具
1)Google Lighthouse
Lighthouse 是 Google 开发的一款分析 Web 应用和页面性能的开源工具。Lighthouse分析Web应用程序和Web页面,收集关于开发人员最佳实践的现代性能指标和见解,让开发人员根据生成的评估页面,来进行网站优化和完善,提高用户体验。
Lighthouse是直接集成到chrome开发者工具中的,位于‘Audits’面板下。
2) PerfDog
PerfDog 性能狗是移动全平台 iOS\Android 性能测试工具平台,快速定位分析性能问题,提升 APP 应用及游戏性能和品质,手机无需 ROOT/越狱,手机硬件、游戏及应用无需做任何更改,极简化即插即用。
官网地址:
https://wetest.qq.com/product/perfdog
3) Monkey
Monkey 是 Android SDK 提供的一个命令行工具,使用简单、方便地运行在任何版本的 Android 模拟器和实体设备上。Monkey 会发送伪随机的用户事件流,适合对 app 做压力测试。
4) Monkeyrunner
MonkeyRunner工具提供了多个API,通过monkeyrunner API 可以写一个Python的程序来模拟操作控制Android APP,测试其稳定性并通过截屏可以方便地记录出现的问题。
5) mobileperf
天猫团队开源的PC Android性能稳定性测试工具,可以收集Android性能数据: cpu 内存 流畅度fps logcat日志 流量 进程线程数 进程启动日志,mobileperf也支持原生monkey test。
下载地址:
https://github.com/alibaba/mobileperf
6) Pyroscope
Pyroscope是一个开源的连续分析平台。能够帮你发现代码中的性能问题和瓶颈、CPU利用率高的原因。并且帮你了解应用程序的调用树,提供丰富的图表和调用树展示。
官网地址:https://pyroscope.io
7) MemoryLeakDetector
MemoryLeakDetector是由西瓜视频android团队开发的本地内存泄漏监视工具,它具有访问简单,监视范围广,性能优良和稳定性好的优点。它被广泛用于ByteDance的主要应用程序的本机内存泄漏管理中。
官网地址:https://github.com/bytedance/memory-leak-detector
服务端性能测试工具
8) JMeter
JMeter 是 Apache 组织开发的基于 Java 的压力测试工具。用于对软件做压力测试,它最初被设计用于 Web 应用测试,但后来扩展到其他测试领域。它可以用于测试静态和动态资源,例如静态文件、Java 小服务程序、CGI 脚本、Java 对象、数据库、FTP 服务器等等。
JMeter 可以用于对服务器、网络或对象模拟巨大的负载,来自不同压力类别下测试它们的强度和分析整体性能。
官网地址:https://jmeter.apache.org/
9) LoadRunner
LoadRunner 是一种预测系统行为和性能的负载测试工具。通过模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找问题,LoadRunner 能够对整个企业架构进行测试。
官网地址:
https://www.microfocus.com/zh-cn/portfolio/performance-engineering/overview
10) WebLOAD
WebLOAD是一款针对Web应用程序的企业级负载和性能测试工具,提供性能、完整性和可伸缩性测试等功能,能够同时模拟数千个用户,因此您可以测试重流量负载,并报告应用程序中的弱点、约束和性能瓶颈。
使用WebLOAD进行网站负载测试、连续测试、云负载测试等。该工具可以从云端或本地机器生成负载,并提供一个集成开发环境(IDE),用于可视化地记录、编辑和调试测试脚本。
官网地址:https://www.radview.com/
11) Gatling
Gatling 是一款基于 Scala 开发的高性能服务器性能测试开源工具,同时也是一款功能强大的负载测试工具,开箱即用。Gatling主要用于测量基于HTTP的服务器,比如Web应用程序,RESTful服务等。Gatling是针对任何 HTTP 服务器进行负载测试的首选工具。
官网地址:https://gatling.io/
12) k6
k6是高性能的负载测试工具,也是一种高性能工具,旨在在预生产和QA环境中以高负载运行测试,可使用JavaScript编写脚本。它是一个以开发人员为中心(当然,测试人员亦可以使用,因为真的很方便),免费和开源的负载测试工具,旨在使性能测试具有生产力和令人愉悦的体验,可最大程度地减少系统资源的消耗。
官网地址:https://k6.io/
13) Vegata
Vegeta 是一个用Go语言编写的多功能的 HTTP 负载测试工具,提供命令行工具和一个开发包。
官网地址:
https://github.com/tsenart/vegeta
14) Locust
Locust是使用Python开发的支持分布式的一款开源压力测试工具,可以通过写python脚本的方式来对web接口进行负载测试。Locust在单台机器上能够支持几千并发用户访问,并且由于其对分布式运行的支持,理论上来说,Locust能在使用较少压力机的前提下支持极高并发数的测试。
官网地址:https://locust.io/
分布式系统的性能监控工具
在微服务架构的分布式系统中,当客户端发起一个请求时,往往会调用多个服务,涉及多个中间件,加上系统又分布在多台服务器上,因此,当系统出现性能瓶颈时,故障诊断就变得非常复杂。分布式系统的应用性能监控(APM)工具通过服务调用链追踪分析来定位链路上的性能瓶颈。
在线性能监控是指借助监控工具,监控系统性能的实际数据,因为是真实数据,比研发环境中通过工具产生负载得到的测试结果更客观,更有分析价值。
15) SkyWalking
SkyWalking是一款国内开源的优秀的APM工具,提供了一个分布式系统的直观的观测平台,用于从服务和云原生基础设施收集、处理及可视化数据,通过监控、告警、可视化和分布式追踪等功能为微服务、分布式,以及容器化的系统架构提供了可观测性(observability)。它可以观测横跨不同云的分布式系统,而且从SkyWalking 6 开始支持下一代的分布式架构Service Mesh。
官网地址:
http://skywalking.apache.org/
16)Pinpoint
Pinpoint是一个用于大规模分布式系统的APM(应用程序性能管理)工具,用Java/PHP编写。Pinpoint提供了一个解决方案,帮助分析系统的总体结构,以及通过跟踪分布式应用程序中的事务,分析系统中的组件如何相互连接,用于大型分布式系统的全链路监控,可以获取不同服务之间,服务与数据库,以及服务内部的方法的调用关系,还可以监控方法调用时长、可用率和内存等。
下载地址:
https://pinpoint-apm.github.io/pinpoint/
分布式系统的全链路压测平台
全链路压测是指模拟真实业务场景中的海量用户请求和数据访问生产环境,对整个业务链路进行全方位的、真实的压力测试,提前找到分布式系统的性能瓶颈点并持续调优的实践。目前企业大多采用的是基于开源工具Gatling、JMeter 搭建压测集群进行全链路压测。同时,国内也有商用的全链路压测解决方案,如Perfma全链路压测解决方案、京东ForceBot平台、美团的 Quake、高德的 TestPG、字节跳动的Rhino、阿里妈妈的MagicOTP和性能测试平台ACP,以及阿里的AMAZON、PTS和JVM-SANDBOX平台。
END绵薄之力
最后感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:
这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!
加入我的软件测试交流群:110685036免费获取~(同行大佬一起学术交流,每晚都有大佬直播分享技术知识点)
软件测试面试小程序
被百万人刷爆的软件测试题库!!!谁用谁知道!!!全网最全面试刷题小程序,手机就可以刷题,地铁上公交上,卷起来!
涵盖以下这些面试题板块:
1、软件测试基础理论 ,2、web,app,接口功能测试 ,3、网络 ,4、数据库 ,5、linux
6、web,app,接口自动化 ,7、性能测试 ,8、编程基础,9、hr面试题 ,10、开放性测试题,11、安全测试,12、计算机基础
获取方式 :