目录
软件测试常用方法
测试用例万能公式(基于需求): 功能 性能 界面 兼容 易用 网络 安全
功能:软件最基本的操作功能
性能:响应时间 并发数 cpu占用率
界面:界面布局 图片 文字 按钮 颜色是否符合预期
兼容:操作系统 浏览器版本 手机品牌
易用:操作简单 操作流畅
网络:模拟弱网情况下
安全:sql注入 xss漏洞 密码加密保存 权限控制
等价类划分法:
有效等价类 无效等价类
边界值法:
内点 离点 上点
判定表:
关系(与或非 恒等)
正交表:
allpairs
场景设计法
错误估计法
测试分类
安装测试对象划分
界面测试
界面测试(简称
UI
测试
)
,指按照界面的需求(一般是
UI
设计稿)和界面的设计规则,对我们软件界面所
展示的全部内容进行测试和检查,一般包括如下内容:
-
验证界面内容显示的完整性,一致性,准确性,友好性。比如界面内容对屏幕大小的自适应,换,内容是否全部清晰展示;
-
验证整个界面布局和排版是否合理,不同板块字体的设计,图片的展示是否符合需求;
-
对界面不同控件的测试,比如,对话框,文本框,滚动条,选项按钮等是否可以正常使用,有效和无效的状态是否设计合理;
可靠性测试
可靠性(
Availability
)即可用性,是指系统正常运行的能力或者程度,一般用正常向用户提供软件服务
的时间占总时间的百分比表示。
可靠性
=
正常运行时间
/
(正常运行时间
+
非正常运行时间)
*100%
系统非正常运行的时间可能是由于硬件,软件,网络故障或任何其他因素(如断电)造成的,这些因素
能让系统停止工作,或者连接中断不能被访问,或者性能急剧降低导致不能使用软件现有的服务等。
容错性测试
容错性测试是指系统能够处理异常,用户的错误操作而不至于系统崩溃,从而能够提高系统的可用性。
包含:
-
输入异常数据或进行异常操作,以检验系统的保护性。如果系统的容错性好,系统只给出提示或内部消化掉,而不会导致系统出错甚至崩溃。
-
灾难恢复性测试。 软件强制发生故障后数据能否尽快恢复
文档测试
–
开发文件:可行性研究报告、软件需求说明书、数据要求说明书、概要设计说明书、详细设计说明
书、数据库设计说明书、模块开发卷宗。
–
用户文件
:
用户手册、操作手册,用户文档的作用:改善易安装性;改善软件的易学性与易用性;改善
软件可靠性;降低技术支持成本。
–
管理文件:项目开发计划、测试计划、测试分析报告、开发进度月报、项目开发总结报告。
在实际的测试中,最常见的是用户文件的测试,例如:手册说明书等。也会有一些公司对需求文档进行
测试,来保证需求文档的质量。
文档测试的关注点:文档的术语文档的正确性文档的完整性文档的一致性文档的易用性
兼容性测试
兼容性测试需求是指明确要测试的兼容环境,考虑软,硬件的兼容,就软件兼容来说,主要考虑以下几
个方面
-
系统自身版本的兼容,用户已有数据的兼容,数据兼容是重中之重,对用户来说,数据是最有价值 的。
-
测试与应用环境的兼容性,比如操作系统,应用平台,浏览器的兼容 测试与第三方系统以及第三方数据的兼容性
易用性测试
易用性在
ISO25020
标准中指容易发现,容易学习和容易使用。易用性包含七个要素:符合标准和规
范,直观性,一致性,灵活性,舒适性,正确性和实用性。我们主要讨论以下几个方面
1
,标准性和规范性
对于现有的软件运行平台,通常其
UI
标准已经不知不觉地被确立了,成为大家的共识。多数用户已经习
惯并且接受了这些标准和规范,或者说已经认同了这些信息所代表的的含义。比如安装软件的界面的外
观,在什么场合使用恰当的对话框等。
所以用户界面上的各中信息应该符合规范和习惯,否则用户使用起来会不舒适,并得不到用户的认可。
2
,直观性
用户界面的直观性,要求软件功能特性易懂,清晰。用户界面布局合理,对操作的响应在用户的预期之
中。比如数据统计结果用报表的形式(条形图,扇形图等)展示清晰直观;现在主流的很多搜索引擎和
日历的设计也有直观性的特点;
3
,灵活性
软件可以有不同的选项以满足不同使用习惯的用户来完成相同的功能。但是灵活性的设计要把握好度,
不然可能由于太多的用户状态和方式的选择,增加了软件设计的复杂性,和程序实现的难度。
4
,舒适性
舒适性主要强调界面友好,美观,操作过程顺畅,色彩用运恰当,按钮的立体感等。例如左手鼠标的设
置给习惯用左手的人带来了便利,也为右手十分劳累时提供了另一种途径;
安装卸载测试
应用的安装和卸载在任何一款
APP
中都属于最基本功能。一旦出错,就属于优先级为紧要
Critical
的缺
陷。主要需要考虑以下方面:
- 软件不同的安装和卸载方式
- 应用是否可以在不同的环系统,版本下安装
- 安装或者卸载过程中是否可以手动暂停或者取消
- 安装空间不足时是否有提示
- 是否可以正常卸载,以及应用软件的各种卸载方式
- 卸载和安装过程中是否可以合理应对,比如死机,断电,断网等
安全测试
安全性是指信息安全,是指计算机系统或网络保护用户数据隐私,完整,保护数据正常传输和抵御黑
客,病毒攻击的能力。安全性测试属于非功能性测试很重要的一个方面,系统常见的安全漏洞和威胁如
下
-
输入域,如输入恶性或者带有病毒的脚本或长字符串;
-
代码中的安全性问题,如 SQL/XML 注入
-
不安全的数据存储或传递
-
数据文件 邮件 系统配置文件中含有危害系统的信息或者数据
-
有问题的访问控制,权限分配
-
假冒ID 身份欺骗
-
篡改,对数据恶意修改
安全性测试的方法有代码评审,渗透测试,安全运维等,常用的静态安全测试工具有,
Coverity
,
IBM
Appscan Source
,
HPFortify
,常用的动态安全测试有
OWASP
的
ZAP
,
HP WebInspect
等。其中静态安
全测试是常用的安全性测试的方法
性能测试
我们在使用软件的时候有时会碰到软件网页打开时越来越慢,查询数据时很长时间才显示列表,软件运
行越来越慢等问题,这些问题都是系统的性能问题引起的。
要进行软件产品的性能问题,要对产品的性能需求进行分析,然后基于系统的性能需求和系统架构,完
成性能测试的设计和执行,最后要进行持续的性能调优。常见的性能问题如下:
- 资源泄露
- 资源瓶颈
- 线程死锁 线程阻塞
- 查询速度慢或者效率低
- 受外部系统影响越来越大
衡量一个系统性能好坏的关键性指标有,用户响时间,事务平均响应时间(
TPS
),吞吐率,每秒点击
次数,内存和
CPU
使用率等。
内存泄漏测试
很多软件系统都存在内存泄露的问题,尤其是缺乏自动垃圾回收机制的
“
非托管
”
语言编写的程序,例如
C
、
CH
、
Delphi
等。从用户使用的角度来看,内存泄露本身不会造成什么危害,一般用户可能根本不会
感觉到内存泄露的存在。但是内存泄露是会累积的,只要执行的次数足够多,最终会耗尽所有可用内
存,使软件的执行越来越慢,最后停止响应。可以把这种软件的问题比喻成软件的
“
慢性病
”
。
造成内存泄露的原因有很多,最常见的有以下几种。
- 分配完内存后忘了回收
- 程序写法有问题 造成没法回收
- 某些API函数的使用不正确,造成内存泄漏
内存泄漏的检测方法:
- 人工静态法:代码走读,人工查找未被回收的内存
- 自动工具法:借助相应的测试工具,如Visual Leak Detector,记录每次内存分配,清楚
告诉用户内存是如何泄漏的。
是否查看代码划分
黑盒测试
黑盒测试就是在完全不考虑程序逻辑和内部结构的情况下,检查系统功能是否按照需求规格说明书的规
定正常使用、是否能适当的接收输入数据而输出正确的结果,满足规范需求
优点:
- 不注重软件内部实现
- 从用户角度出发设置测试用例,容易知道用户会用到那些功能
- 测试用例是基于软件需求开发文档,不易遗漏软件需求要测试的功能
缺点:不能覆盖所有代码
白盒测试
白盒测试又称为结构测试或逻辑测试,它一般用来分析程序的内部结构,针对程序的逻辑结构来设计测
试用例进行测试。
白盒测试的测试目的是,通过检查软件内部的逻辑结构,对软件中的逻辑路径进行覆盖测试;在程序不
同地方设立检查点,检查程序的状态,以确定实际运行状态与预期状态是否一致。
主要包含六种测试方法:
语句覆盖、判定覆盖、条件覆盖、判定条件覆盖、条件组合覆盖、路径覆盖
。
灰盒测试
灰盒测试,是介于白盒测试与黑盒测试之间的一种测试,灰盒测试多用于集成测试阶段,不仅关注输
出、输入的正确性,同时也关注程序内部的情况。
按开发阶段划分
单元测试
单元测试是对软件组成单元进行测试。其目的是检验软件基本组成单位的正确性。测试的对象是软件设
计的最小单位:模块。又称为模块测试
测试阶段:编码后或者编码前(
TDD
)
测试对象:最小模块
测试人员:白盒测试工程师或开发工程师
测试依据:代码和注释
+
详细设计文档
测试方法:白盒测试
测试内容:模块接口测试、局部数据结构测试、路径测试、错误处理测试、边界测试
集成测试
集成测试也称联合测试(联调)、组装测试,将程序模块采用适当的集成策略组装起来,对系统的接口
及集成后的功能进行正确性检测的测试工作。集成主要目的是检查软件单位之间的接口是否正确。
测试阶段:一般单元测试之后进行
测试对象:模块间的接口
测试人员:白盒测试工程师或开发工程师
测试依据:单元测试的模块
+
概要设计文档
测试方法:黑盒测试与白盒测试相结合
测试内容:模块之间数据传输、模块之间功能冲突、模块组装功能正确性、全局数据结构、单模块
缺陷对系统的影响
系统测试
将软件系统看成是一个系统的测试。包括对功能、性能以及软件所运行的软硬件环境进行测试。
测试阶段:集成测试通过之后
测试对象:整个系统(软、硬件)
测试人员:黑盒测试工程师
测试依据:需求规格说明文档
测试方法:黑盒测试
测试内容:功能、界面、可靠性、易用性、性能、兼容性、安全性等
回归测试
回归测试是指修改了旧代码后,重新进行测试以确认修改没有引入新的错误或导致其他代码产生错误。
在整个软件测试过程中占有很大的工作量比重,软件开发的各个阶段都会进行多次回归测试。随着系统
的庞大,回归测试的成本越来越大,通过选择正确的回归测试策略来改进回归测试的效率和有效性是很
有意义的。
冒烟测试
冒烟测试的对象是每一个新编译的需要正式测试的软件版本,目的是确认软件主要功能和核心流程正
常,在正式进行系统测试之前执行。冒烟测试一般在开发人员开发完毕后提交给测试人员来进行测试
时,先进行冒烟测试,保证基本功能正常,不阻碍后续的测试。
如果冒烟测试通过,则测试人员开始进行正式的系统测试,如果不通过,则测试人员可以让开发人员重
新修复代码直到冒烟测试通过,再开始进行系统测试。
回归测试和冒烟测试都属于系统测试。
验收测试
验收测试是部署软件之前的最后一个测试操作。它是技术测试的最后一个阶段,也称为交付测试。验收
测试的目的是确保软件准备就绪,按照项目合同、任务书、双方约定的验收依据文档,向软件购买都展
示该软件系统满足原始需求。
测试阶段:系统测试通过之后
测试对象:整个系统(包括软硬件)。
测试人员:主要是最终用户或者需求方。
测试依据:用户需求、验收标准
测试方法:黑盒测试
测试内容:同系统测试
(
功能
...
各类文档等
)
测试实施的组织
α测试
α
测试是由一个用户在开发环境下进行的测试,也可以是公司内部的用户在模拟实际操作环境下进行的
测试。
α
测试的目的是评价软件产品的
FLURPS(
即功能、局域化、可使用性、可靠性、性能和支持
)
。
β测试
Beta
测试是一种验收测试。
Beta
测试由软件的最终用户们在一个或多个场所进行。
α
测试与
Beta
测试的区别:
测试的场所不同:
Alpha
测试是指把用户请到开发方的场所来测试
,beta
测试是指在一个或多个用户的场
所进行的测试。
Alpha
测试的环境是受开发方控制的
,
用户的数量相对比较少
,
时间比较集中。
beta
测试的环境是不受开发
方控制的
,
用户数量相对比较多
,
时间不集中。
alpha
测试先于
beta
测试执行。通用的软件产品需要较大规模的
beta
测试
,
测试周期比较长。
第三方测试
介于开发和用户间组织的测试
按是否运行划分
静态测试
所谓静态测试(
static testing
)就是
不实际运行
被测软件,而只是
静态地检查程序代码、界面或文档
中
可能存在的错误的过程。不以测试数据的执行而是
对测试对象的分析过程
,仅通过分析或检查源程序的
设计、内部结构、逻辑、代码风格和规格等来检查程序的正确性
动态测试
动态测试(
dynamic testing
),指的是
实际运行被测程序,输入相应的测试数据,检查实际输出结果
和预期结果是否相符
的过程,所以判断一个测试属于动态测试还是静态的,唯一的标准就是看是否运行
程序。
按是否手工划分
手动测试
手工测试就是由人去一个一个的输入用例,然后观察结果,和机器测试相对应,属于比较原始但是必须
的一个步骤。
优点:自动化无法替代探索性测试、发散思维结果的测试。
缺点:执行效率慢,量大易错。
自动化测试
就是在预设条件下运行系统或应用程序,评估运行结果,预先条件应包括正常条件和异常条件。简单说
自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程。
自动化测试比如功能测试自动化、性能测试自动化、安全测试自动化。
自动化测试按照测试对象来分,还可以分为接口测试、
UI
测试等。接口测试的
ROI
(产出投入比)要比
UI
测试高。
自动化实施步骤:1. 完成功能测试,版本基本稳定2. 根据项目特性,选择适合项目的自动化工具,并搭建环境3. 提取手工测试的测试用例转化为自动化测试的用例4. 通过工具、代码实现自动化的构造输入,自动检测输出结果是否符合预期5. 生成自动测试报告6. 持续改进,脚本优化。
按测试地域划分
国际化测试
软件的国际化和软件的本地化是开发面向全球不同地区用户使用的软件系统的两个过程。而本地化测试
和国际化测试则是针对这类软件产品进行的测试。由于软件的全球化普及,还有软件外包行业的兴起,
软件的本地化和国际化测试俨然成为了一个独特的测试专门领域。
本地化和国际化测试与其他类型的测试存在很多不同之处。。