一. 软件测试前置基础概念
1. 软件测试的目的和原则
目的:验证软件有或没有问题
原则:以客户为中心,遵循软件测试的规范、流程、标准和要求
2. 什么是需求
IEEE定义:软件需求是:(下面123都是官话,可以直接省略不看)
(1). 用户解决问题或达到目标所需条件或权能(Capability)
(2). 系统或系统部件要满足合同、标准、规范或其他正式规定文档所需具有的条件或权能
(3). 一种反应上面(1)或(2)所述条件或权能的文档说明。它包括功能性需求及非功能性需求,非功能需求对设计和实现提出了限制,比如性能要求、质量标准,或者设计限制
大多数公司需求分为:用户需求,软件需求
用户需求 : 就是甲方爸爸要你干什么
官话:甲方提出的需求,如果没有甲方,那么就是终端用户使用产品时必须要完成的任务
软件需求 : 就是描述这个软件需要完成的功能,
官话:或者叫功能需求,该需求会详细描述开发人员必须要实现的软件功能,软件需求是测试人员进行测试工作的基本依据
举个栗子:
你的女朋友现在是甲方爸爸,当然你也可能没有女朋友,假设你现在有,她给你说我饿了。那么现在
用户需求:
女朋友说, 我饿了, 这是一个用户需求. 很简略.
软件需求:
需要你和她反复的沟通了解更加详细具体的需求, 来指定解决方案.
比如你问她, “想吃啥?”, 她说, “随便”
“吃米饭炒菜?”, “不想吃”; “那你想吃啥?”, “随便”
“吃油泼面?”, “不想吃”; “那你想吃啥?”, “随便”
…
最终理解清楚用户需求之后, 知道女朋友想吃的是你做的红烧肉, 那么再去研究肉怎么买, 怎么做等等的具体步骤, 是软件需求.
3. bug是什么
bug是我们非常熟悉的词了,男人看了沉默,女人看了流泪,那么这个折磨万千程序员的bug到底是什么呢?
bug : 你的软件出现了跟用户或者需求规格说明书上的要求不一样的情况的时候就是bug
准确的来说:当且仅当软件需求规格说明是是存在的并且正确,程序与规格说明之间的不匹配才是错误(bug)
当没有需求规格说明书时,判断以最终用户为准,当程序没有实现其最终用户合理预期的功能要求时候,就是软件错误(bug)
4. 测试用例
测试用例(Test Case)是为了实施测试而向被测试的系统提供的一组集合,这组集合包括:测试环境、操作步骤、测试数据、预期结果 等要素。
为什么需要测试用例?
测试过程中可能会遇到很多问题,比如:不知道是否较全面的测试了所有功能、测试的覆盖率无法衡量、对新版本的重复测试很难实施、存在大量冗余测试影响测试效率,测试用例就是为了解决这些问题
二. 软件开发模型
软件生命周期:
指从软件产品的设想开始到软件不再使用而结束的时间。
可以分为6个阶段:需求分析、计划、设计、编码、测试、运行维护
1 瀑布模型
生命周期的每个阶段只执行一次,不会回头,是线性顺序进行的软件开发模式
优点:
1)强调开发的阶段性
2)强调早期计划及需求调查
3)强调产品测试
缺点:
1)依赖于早期进行的唯一一次需求调查,不能适应需求的变化
2)由于是单一流程,开发中的经验教训不能反馈应用于本产品的过程
3)风险往往迟至后期的测试阶段才显露,因此失去及早纠正的机会
补充:
瀑布模型的一个最大缺陷在于,可以运行的产品很迟才能被看到。这会给项目带来很大的风险,尤其是集成的风
险。因为如果在需求引入的一个缺陷要到测试阶段甚至更后的阶段才发现,通常会导致前面阶段的工作大面积返
工,业界流行的说法是:“集成之日就是爆炸之日”。尽管瀑布模型存在很大的缺陷,例如,在前期阶段未发现的错
误会传递并扩散到后面的阶段,而在后面阶段发现这些错误时,可能已经很难回头再修正,从而导致项目的失败。
但是目前很多软件企业还是沿用了瀑布模型的线性思想,在这个基础上做出自己的修改。例如细化了各个阶段,在
某些重点关注的阶段之间掺入迭代的思想。
在瀑布模型中,测试阶段处于软件实现后,这意味着必须在代码完成后有足够的时间预留给测试活动,否则将导致
测试不充分,从而把缺陷直接遗留给用户。
2. 螺旋模型
螺旋模型采用周期性的方法开发软件产品,该模型是快速原型法,每个周期采用瀑布模型法,不断迭代,每个周期包含需求定义、风险分析、工程实现和风险控制,由这四个阶段不断进行迭代的过程
一般在软件开发初期阶段需求不是很明确时,采用渐进式的开发模型,螺旋模型就是渐进式开发模型的代表之一。这对于规模庞大、复杂度高、风险大的项目尤其适合。这种迭代开发的模式给软件测试带来了新的要求,它不允许有一段独立的测试时间和阶段,测试必须跟随开发的迭代而迭代
优点:
1)强调严格的全过程风险管理
2)强调各开发阶段的质量
3)提供机会检讨项目是否有价值进行下去
缺点:
1)引入非常严格的风险识别、风险分析和风险控制,这对风险管理的技能水平提出了很高的要求,这需要人员、资金和实践的投入
3. 增量、迭代开发
增量通常和迭代混为一谈,但是其实两者是有区别的。增量是逐块建造的概念,例如画一幅人物画,我们可以先画人的头部,再画身体,再画手脚……而迭代是反复求精的概念,同样是画人物画,我们可以采用先画整体轮廓,再勾勒出基本雏形,再细化、着色。
增量开发能显著降低项目风险,结合软件持续构建机制,构成了当今流行的软件工程最佳实践之一。增量开发模型,鼓励用户反馈,在每个迭代过程中,促使开发小组以一种循环的、可预测的方式驱动产品的开发。因此,在这种开发模式下,每一次的迭代都意味着可能有需求的更改、构建出新的可执行软件版本,意味着测试需要频繁进行,测试人员需要与开发人员更加紧密地协作。
4. 敏捷开发
敏捷宣言:
个体与交互重于过程和工具
可用的软件重于完备的文档
客户协作重于合同谈判
响应变化重于遵循计划
在每对比对中,后者并非全无价值,但我们更看重前者。
敏捷开发有很多种,其中scrum是比较流行的一种
scrum:
scrum由product owner(产品经理)、scrum master(项目经理)和team(研发团队)组成。
1)product owner负责整理userstory(用户故事),定义其商业价值,对其进行排序,制定发布计划,对产品负责。
2)scrum master负责召开各种会议,协调项目,为研发团队服务。
3)研发团队则由不同技能的成员组成,通过紧密协同,完成每一次迭代的目标,交付产品。迭代开发
scrum的基本流程如上图所示:
scrum将产品的开发分解为若干个小sprint(迭代),其周期从1周到4周不等,但不会超过4周。参与的
团队成员一般是5到9人。每期迭代要完成的user story是固定的。每次迭代会产生一定的交付。
产品负责人负责整理user story,形成左侧的product backlog。
发布计划会议: product owner负责讲解user story,对其进行估算和排序,发布计划会议的产出就是制定出这一期迭代要完成的story列表,sprint backlog。
迭代计划会议: 项目团队对每一个story进行任务分解,分解的标准是完成该story的所有任务,每个任务都有 明确的负责人,并完成工时的初估计。
每日例会: 每天scrum master召集站立会议,团队成员回答昨天做了什么今天计划做什么,有什么问题。演示会议:迭代结束之后,召开演示会议,相关人员都受邀参加,团队负责向大家展示本次迭代取得的成 果。期间大家的反馈记录下来,由po(产品经理)整理,形成新的story。
回顾会议: 项目团队对本期迭代进行总结,发现不足,制定改进计划,下一次迭代继续改进,已达到持续改 进的效果。
三. 软件测试模型
1. 敏捷中的测试
挑战1:轻文档
挑战2:快速迭代
1)测试工作的核心内客是没有变的,就是不断地找Bug,只是要调整好自己的心态,一切以敏捷的原则为主。
2)测试人员不能依赖文档,测试用例作用减弱,更多的采用思维导图、探索性测试(强调自由度,设计和执行同时执行,根据测试结果不断调整测试计划)、自动化测试
3)敏捷讲求合作,在敏捷项目组中,测试人员应该更主动点,多向开发人员了解需求、讨论设计、一起研究Bug出现的原因。
2. V模型
望图生意哈,这不是个V吗,所以肯定是V模型啦
V模型是在编码阶段完成后再开始进行测试
1)明确的标注了测试过程中存在的不同类型的测试,并且清楚的描述了这些测试阶段和开发过程期间各阶段的对应关系
2)V模型指出,单元和集成测试应检测程序的执行是否满足软件设计的要求;系统测试应检测系统功能、性能的质量特性是否达到系统要求的指标;验收测试确定软件的实现是否满足用户需要或合同的要求
3)局限性:仅仅把测试作为在编码之后的一个阶段,未在需求阶段就进入测试
3. W模型
上面是个V,举一反一,这个就是W了
W模型是在需求阶段软件测试就开始介入,开发一直伴随着测试
1)W模型增加了软件各开发阶段中应同步进行的验证和确认活动。W模型由两个V字型模型组成,分别代表测试与开发过程,图中明确表示出了测试与开发的并行关系。
2)W模型特点:测试的对象不仅是程序,需求、设计等同样要测试,测试与开发是同步进行的
3)W模型优点:有利于尽早地全面的发现问题。例如,需求分析完成后,测试人员就应该参与到对需求的验证和确认活动中,以尽早地找出缺陷所在。同时,对需求的测试也有利于及时了解项目难度和测试风险,及早制定应对措施,显著减少总体测试时间,加快项目进度。
4)局限性:需求、设计、编码等活动被视为串行的;测试和开发活动也保持着一种线性的前后关系,上一阶段完全结束,才可正式开始下一个阶段工作。无法支持敏捷开发模式。对于当前软件开发复杂多变的情况,W模型并不能解除测试面临着困惑
四. 软件测试的生命周期
软件测试生命周期: 需求分析→测试计划→测试设计、测试开发→测试执行→测试评估
- 需求分析: 测试人员了解需求、对需求进行分解,得出测试需求
- 计划阶段: 根据需求编写测试计划 / 测试方案
- 设计阶段: 测试人员适当的了解设计,对于设计测试用例是很有帮助的,测试人员搭建测试用例框架,根据需求和设计编写一部分测试用例
- 编码阶段: 测试人员一般是不需要编码的,但已经编码的模块,专业的白盒测试人员可以计划执行单元测试,完善、细化测试用例以及调整测试计划和方案。
- 测试阶段: 测试阶段是测试人员最为重要的工作阶段,根据测试用例和计划进行测试,在执行的过程中纪录、管理缺陷,测试完成后编写测试报告
- 运行维护: 测试人员需要参与项目的实施工作,测试人员对项目产品的业务和操作非常了解,加上测试人员的沟通表达能力一般都比较强,所以测试人员可以参与用户使用软件的培训,在试运行项目时收集问题并及时反馈给相关负责人
五. 关于bug
1. 如何描述一个bug
一个合格的bug描述应该包括以下几个部分:
1)发现问题的版本
2)问题出现的环境
环境分为硬件环境和软件环境,如果是web项目,需要描述浏览器版本,客户机操作系统等,如果是app项目,需
要描述机型、分辨率、操作系统版本等。详细的环境描述有利于故障的定位。
3)错误重现的步骤
描述问题出现的最短步骤
4)预期行为的描述
5)错误行为的描述
注意: 某些公司会有一些其他的要求,例如故障的分类:功能故障,界面故障,兼容性故障等。有些有优先级的分类,严
重影响测试需要开发人员优先修改的,可以设置优先级为高
不要把多个bug放到一起:在无法确认是同一段代码造成的故障时,不要将bug放在一起提交。
2.如何定义bug的级别
因公司而异
样例:
1、Blocker(崩溃):
阻碍开发或测试工作的问题;造成系统崩溃、死机、死循环,导致数据库数据丢失,与数据库连接错误,主要功能丧失,基本模块缺失等问题。如:代码错误、死循环、数据库发生死锁、重要的一级菜单功能不能使用等(该问题在测试中较少出现,一旦出现应立即中止当前版本测试)。
2、Critical(严重):
系统主要功能部分丧失、数据库保存调用错误、用户数据丢失,一级功能菜单不能使用但是不影响其他功能的测试。功能设计与需求严重不符,模块无法启动或调用,程序重启、自动退出,关联程序间调用冲突,安全问题、稳定性等。如:软件中数据保存后数据库中显示错误,用户所要求的功能缺失,程序接口错误,数值计算统计错误等(该等级问题出现在不影响其他功能测试的情况下可以继续该版本测试)。
3、Major(一般):
功能没有完全实现但是不影响使用,功能菜单存在缺陷但不会影响系统稳定性。如:操作时间长、查询时间长、格式错误、边界条件错误,删除没有确认框、数据库表中字段过多等(该问题实际测试中存在最多)
4、Minor(次要):
界面、性能缺陷,建议类问题,不影响操作功能的执行,可以优化性能的方案等。如:错别字、界面格式不规范,页面显示重叠、不该显示的要隐藏,描述不清楚,提示语丢失,文字排列不整齐,光标位置不正确,用户体验感受不好,可以优化性能的方案等(此类问题在测试初期较多,优先程度较低;在测试后期出现较少,应及时处理)
3. bug的生命周期
每个公司、每一个工具对bug生命周期的定义都是不一致的
下面仅是一个常见的例子 测试人员应该跟踪一个Bug的整个生命周期,从Open到Closed的所有状态。
BUG状态转换图:
New:新发现的Bug,未经评审决定是否指派给开发人员进行修改。
● Open:确认是Bug,并且认为需要进行修改,指派给相应的开发人员。
● Fixed:开发人员进行修改后标识成修改状态,有待测试人员的回归测试验证。
● Rejected:如果认为不是Bug,则拒绝修改。
● Delay:如果认为暂时不需要修改或暂时不能修改,则延后修改。
● Closed:修改状态的Bug经测试人员的回归测斌验证通过,则关闭Bug。
● Reopen:如果经验证Bug仍然存在,则需要重新打开Bug,开发人员重新修改。
无效的bug:open->closed open-rejected-closed
4. 如何发现更多的bug
1、软件测试同样存在二八原则,80%的故障集中于20%的模块,如果某部分问题较多,加强测试广度和深度!
2、开发人员也存在二八原则,80%的故障集中于20%的开发人员,如果某些开发人员的bug较多,加强他开发模块的测试广度和深度。
3、多进行逆向思维和发散性的思维
4、不要局限于用例和需求文档
5、尽早介入项目, 不要等到开发的差不多了再介入项目