一、前言
自动化测试是把将手工驱动的测试行为转化为机器自动执行,通常操作是在某一框架下进行代码编写,实现用例自动发现与执行,托管在 CI/CD 平台上,通过条件触发或手工触发,进行回归测试&线上监控,代替部分的手工测试;
不同的项目适合的自动化框架也是不同的,自动化系列文章将逐个介绍实际工作中使用的自动化框架。
自动化接口测试使用到的框架:
● Postman+Newman+Allure+Jenkins
● Httprunner+Request+Pytest+Alluret+Jenkins
● JMeter+Ant+Allure+Jenkins
● Pytest+Request+Allure+Jenkins
自动化 UI 测试使用到的框架:
● Selenium+Pytest
● Appium+WDA+TestNG
● Minium+pytest
本章节先对自动化接口测试的四个框架进行对比介绍,后续系列文章介绍详细搭建过程和封装过程。
二、自动化接口测试简介
1、接口测试的必要性
接口测试有着极为高效的成本收益比,是测试左移的重要环节。
接口测试为高复杂性的平台带来高效的缺陷检测和质量监督能力,平台复杂,系统越庞大,接口测试的效果越明显。
总的来说,接口测试是保证高复杂性系统质量的内在要求和低成本的经济利益驱动作用下的最佳方案,主要体现在如下三个方面:
● 节省了测试成本
● 接口测试不同于单元测试
● 收益更高
2、自动化接口测试的必要性
● 自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程,主要是编写代码、脚本,让软件自动运行,发现缺陷,代替部分的手工测试;
● 当服务端改动功能、添加新功能时、测试环境切换时、新发布程序后,避免新代码导致已有功能不可用,都需要进行接口的全量回归。人工触发不及时且容易遗漏。
● 接口自动化接入持续集成,服务端发布触发接口测试代码运行,尽早发现问题
● 抽取部分接口测试用例,定时运行程序,对线上常用的业务操作进行监控,及时发现修复。
3、自动化接口测试适用场景
● 提测前冒烟测试
● 预生产/上线前回归测试
● 服务端底层逻辑变更后的回归测试
● 线上服务器可用性监控
4、成果物
通过自动化测试,进行线上可用性监控 和 回归测试,可以节约大量手工测试时间,降本增效。线上线下均发现过较多问题。
现在我也找了很多测试的朋友,做了一个分享技术的交流群,共享了很多我们收集的技术文档和视频教程。
如果你不想再体验自学时找不到资源,没人解答问题,坚持几天便放弃的感受
可以加入我们一起交流。而且还有很多在自动化,性能,安全,测试开发等等方面有一定建树的技术大牛
分享他们的经验,还会分享很多直播讲座和技术沙龙
可以免费学习!划重点!开源的!!!
qq群号:110685036
三、自动化接口测试框架概览
1、几种框架对比
还有很多其他框架,本次只针对实际工作中应用到的几种框架进行对比。
2、自动化接口测试框架的必要性
● 提供统一的用例模板,简化业务接入的成本
● 处理脚本中一些异常和错误处理工作
● 实现一些通用的功能,简化脚本开发的过程
● 测试场景恢复
● 测试结果/报告输出
3、项目中实际应用的框架
● 项目一 – 框架 Postman+Newman+Allure+Jenkins/极库云,case 数量:37
● 项目二 – 框架 JMeter+Ant+Allure+Jenkins,case 数量:2
● 项目三 – 框架 Httprunner+Request+Pytest+Alluret+Jenkins,case 数量:27
● 项目四 – 框架 Pytest+Request+Allure+Jenkins,case 数量:19
● 项目五 – 框架 pytest+request+Allure+Jenkins,case 数量:12
四、自动化接口测试框架对比
1、Postman+Newman 框架
①.简介
postman 是谷歌浏览器的扩展工具,也有独立的客户端产品。
postman 非方便日常的调试,使用简单。
主要功能包含接口请求的发起,测试的断言,设置前置条件,支持后置操作,支持使用全局变量/环境变量/集合变量/内部变量,参数化应用、接口关联、postman 结合 newman+jenkins 实现简单的接口自动化并进行持续集成等操作。
postman 高级的功能可以付费进行定制化。
②.优缺点
优点:
免费版就已经非常强大了,门槛低,上手快,跨平台
使用门槛低,只需要简单的编程能力,一些复杂的断言可能需要了解 js 语法;
支持不同的认证机制,包括 Basic Auth、Digest Auth、OAuth1.0、OAuth2.0
可以发送大多数类型的 HTTP/HTTPS 请求,如 GET、POST、PUT、PATCH、DELETE、TRACE 等;
支持数据驱动,读取数据文件,json,csv
支持设置环境变量:方便切换不同的环境进行接口测试工作,而不用修改变量或代码;(同一套测试用例,可以通过切换环境变量运行在不同的环境中,如生产环境/预发布/测试环境)
无重复工作量,接口测试的 case 可以直接导出形成测试用例;
接口测试转换成自动化 case 非常方便,运行也比较简单;
postman 是 google 维护,可靠;
缺点:
仅支持 Node.js 语言,而 js 不具有通用性;
不能操作文件相关的操作,不能读写数据库,不能使用非 HTTP 协议
不支持配置测试用例优先级、测试用例分组功能,只能按顺序执行;
测试用例中动态数据/测试准备功能/测试断言都必须提前定义好,不能满足所有场景的要求 (如数据库交互) ;
测试用例是 json 格式,查阅、维护及更改都十分不变;
测试用例维护成本高,当有变更时,需要再次导入到 newman 工程中;
框架的扩展性差,postman 的 CI 集成以及扩展封装都需要单独的开发新的项目兼容 postman 本生的框架语言
不支持运行时动态传入环境变量
不支持失败重试
仅适合业务逻辑不复杂的小型项目
③.使用要求
对 http 协议有基本的了解
了解接口测试概念
工具的基本使用
请求头,请求体能分清即可
④.适用业务
业务中接口量大
业务场景独立,关联关系弱
小型 API 项目的自动化
短期项目的 API 回归测试
编码能力较弱的测试团队或初学者
⑤.环境依赖
需要 Node.js 执行环境
需要安装 newman ,npm install -g newman
安装用到的插件,如 htmlextra,allure 等
⑥.应用步骤
1.用例要求:接口用例中做了较完善的接口管理、全局变量/环境变量定义、动态参数应用、请求参数化、实现了接口关联、所有的接口均有状态/性能断言 + 业务断言
2.生成项目:导出接口测试用例、环境变量、全局变量、数据驱动文件等
3.配置项目:框架单独章节再行介绍具体配置过程
4.运行项目
● 本地使用 CLI 执行自动化
● 配置到 jenkins job 中
5.查看报告(其他框架都是使用 Allure 输出报告,不再赘述)
6.代码上传 gitlab/github
7.接入持续集成,并配置定时任务(其他框架都支持通过极库云或 jenkins 做任务调度,不再赘述)
● 接入极库云流水线
● 接入 Jenkins
2、JMeter+Ant 框架
①.简介
JMeter 可以用于性能测试,在性能测方面很强大,也可以用于自动化接口测试。
②.优缺点
优点:
支持参数化
不需要写代码
支持协议较多,如 HTTP、FTP、soap、websocket、jdbc、thrift、dubbo 等
支持数据库操作
缺点:
创建接口用例效率不高
学习成本高
需要会 jmeter 工具的基本使用
会数据库基本操作及编写 SQL 语句
了解用到的非 http 协议,如项目【自研长连接】使用的 websocket 协议
③.使用要求
jmeter 的学习成本主要在 jmeter 工具的使用上
对于已经掌握工具使用的人,利用 jmeter 进行自动化测试只要会 Ant 配置即可
④.适用业务
涉及数据库操作
涉及非 https 接口的业务
业务需要进行性能测试,已完成主要接口脚本编写
⑤.环境依赖
不同版本 JMeter 对 Java 版本的要求不尽相同。比如:
JMeter3.3 仅支持 Java 8
JMeter4.0 要求 Java 8+(表示大于等于 Java 8 版本)
JMeter5.0 以上要求 Java 8+
安装 ant 插件
⑥.应用步骤
1.用例要求:接口用例中做了较完善的接口管理、恰当的组件使用、动态参数应用、请求参数化、实现了接口关联、所有的接口均有状态断言 + 业务断言
2.生成项目:编写测试用例、导出测试用例,数据驱动文件等
3.配置 Ant 的 build.xml 文件
4.运行项目
● 本地使用 ant 执行自动化
● 配置到 jenkins job 中
3、HttpRunner+request
①.简介
HttpRunner 是一款面向 HTTP(S) 协议的通用测试框架,只需编写维护一份 YAML/JSON 脚本,即可实现自动化测试、性能测试、线上监控、持续集成等多种测试需求。
支持 HTTP(S) / HTTP2 / WebSocket /thrift /dubbo 等网络协 213 议,涵盖接口测试、性能测试、线上监控、持续集成、数字体验监测等测试类型。
简单易用,功能强大,具有丰富的插件化机制和高度的可扩展能力。
只需编写维护一份 YAML/JSON 脚本
前身 ApiTestEngine (2016 年),2017 年正式更名 HTTPRunner,并 PyPI 托管
②.优缺点
设计理念和主要特征在官网有详细列出,不再赘述。这里主要列举一下优缺点。
优点:
基于 YAML/JSON 格式,专注于接口本身的编写
接口录制功能,操作简单,只需 3 步即可完成测试,对于较为简单的场景尤其方便
接口编写简单,容易上手,对代码编写能力要求较低
生成测试报告,可以自动生成测试报告,框架自带的测试报告模板基本满足需求,支持自定义测试报告的模板
分层机制,适合冒烟流程测试,无需重复编写接口,只要根据需求灵活调用即可
缺点:
HttpRunner 没有编辑器插件,本身就是一个配置文件,所以只要是合法的 YAML/JSON 格式,就算写错了看没有校验也不出来,只有运行起来才知道
框架推出时间相对较短,官方文档没有特别详细的说明,且网上资料相对其他主流测试框架较少
扩展不方便,数据驱动需要依赖其他接口返回,且有先后顺序,这个比较麻烦,暂时框架不支持很优雅的解决这种情况.可以通过分步来解决这个问题
由于用例的数据导出只能在一个测试周期中,所以我们还要解决测试数据传递的问题
通过写入文件的方式解决.接口返回的测试数据写入文件,然后需要的地方通过读取文件的方式读回数据
③.使用要求
有一定的 python 基础
会使用 charles/fiddler/postman
对 request 框架有基本了解,至少会 get、post 请求
④.适用业务
接口关联关系弱
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数软件测试工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年软件测试全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上软件测试开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注软件测试)
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
伴深入学习提升的进阶课程,基本涵盖了95%以上软件测试开发知识点,真正体系化!**
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注软件测试)
[外链图片转存中…(img-BluXL533-1712948239931)]
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!