测试总结,是测试负责人或测试经理的测试管理能力的体现。在项目或版本测试完成,测试报告上交后,测试的工作并不是完结了,而是另外一件大事需要做,那就是为这个项目或是版本做一次测试总结。
测试总结不仅仅要总结测试过程中内部的问题、外部的问题,它的定位是对这个项目或是这次的版本做一个全面的总结。
以下是我最近参与的项目,从这个项目全面的来谈谈测试总结,希望给测试的小伙伴们一个好的想法,起到抛转引玉的作用。
这个项目的背景:
1、项目周期历时半年的时间,涉及到8个应用系统;
2、测试周期历时三个月,8个应用系统需测试。现回顾与描述整体项目的测试情况,总结经验教训。
1 测试过程总结
01 测试目标
项目的主系统为新建系统,涉及到另外7个外围应用系统与之相关联。重点安排新建功能点的测试,同时考虑外围系统修改后与新建系统的关联范围。测试团队以“整体交易通过率99.9%”为目标,采用端到端测试方法,实施功能、非功能测试;监控案例执行率、通过率等重要指标,重点难题逐个突破,以确保投产后系统稳定可靠运行。
02 测试计划策略
测试轮次 | 测试计划 | 测试目标及策略 |
第一轮 | 7天 | 新建系统: 已提交功能的联机主交易流程。接口启动SIT测试 外围: 环境搭建及连通性验证。 |
第二轮 (外围第一轮) | 15天 | 新建系统: 全量功能交易验证,包括边界值和异常类外围: 外围系统修改功能。 |
第三轮 (外围第二轮) | 21天 | 新建系统: 第二轮全量交易验证外围: 外围系统全量功能。 |
第一轮回归 (外围第三轮) | 21天 | 新建系统: 第一次回归(全量案例验证) 外围: 第二轮全量功能验证 |
第二轮回归 (外围第四轮) | 15天 | 新建系统: 第二次回归(全量案例验证) 外围: 第一轮回归验证(全量案例验证) |
第三轮回归 (外围第五轮) | 11天 | 本轮测试目的重点回归,对缺陷严重、反复的重点模块和系统进行重点回归测试。 二、重点回归: |
03 测试范围
3.1 新建系统
Ø 界面类:所有界面都需要做UI、边界值、流程等等的验证;
Ø 接口验证:所涉及到的接口都需要做本身接口的验证及跟外围连通的验证;
Ø 全流程验证:应用系统与相关联系统做端对端的验证;
Ø 兼容性测试:新建系统的兼容性验证;
Ø 安全性测试:新建系统安全性的验证;
3.2 外围系统
Ø 接口验证:与新建系统对接的接口进行详细验证;旧接口进行流程验证;
Ø 全流程验证:所有功能进行全流程验证;
Ø 改造功能测试:外围系统自身改造功能进行重点验证;
04 测试用例
在测试案例方面,总结经验是:项目中对于用例的完善工作要果断,不要碍于时间影响;项目中可以采用功能二维表方式,清晰的分析测试点和执行结果。即前期用例主要以功能点验证为准,中期完善用例,后期加强用执行上的覆盖工作。
项目每轮次测试设计案例数、测试案例执行数、案例通过率情况如下:
测试轮次 | 测试重点 | 案例总数 | 通过数 | 通过率 |
新建系统第一轮 | 主交易以及边界值 | 940 | 868 | 92.3% |
新建系统第二轮 | 全量功能交易 | 3,051 | 2,844 | 93.2% |
新建系统第三轮 | 全量功能交易 | 3,206 | 3084 | 96.2% |
新建系统第一轮回归 | 第一轮回归 | 3,676 | 3,539 | 96.3% |
新建系统第二轮回归 | 第二轮回归 | 3,848 | 3,841 | 99.8% |
新建系统第三轮回归 | 第三轮回归 | 1,939 | 1,938 | 99.9% |
外围系统第一轮 | 修改功能 | 485 | 356 | 73.4% |
外围系统第二轮 | 全流程 | 997 | 862 | 86.5% |
外围系统第三轮 | 全流程 | 1,359 | 1,298 | 95.5% |
外围系统第一轮回归 | 第一轮回归 | 1,869 | 1,851 | 99% |
外围系统第二轮回归 | 第二轮回归 | 1,053 | 1,052 | 99.9% |
04 提版情况
测试团队承接这8个应用系统中,提版的情况见下图。
新建系统平均每日提版2.2次,这包括了非工作日,说明每个工作日平均提版次数接近3次。外围系统中,外围系统2涉及到的连入新系统的工作量比外围系统1的大,但提版次数及下面的缺陷个数来看,都比外围系统1的少。
二、 测试结果分析
01测试缺陷
测试团队承接这8个应用系统,共发现缺陷1,791个,案例命中率18.8%。
1.1 缺陷数及缺陷趋势
每一轮发现缺陷数及趋势数据如图所示。第二轮实际为外围测试第一轮,从趋势可以看出在外围测试前两轮,趋势呈直线上升。
在回归测试开始,缺陷呈完全递减状态。完全符合项目质量管理中缺陷发现规律(缺陷发现比例为50%,30%,15%,5%),缺陷整体发现趋势正常。
1.2 ABCD级别缺陷占比情况
AB级缺陷总体占比46%,较公司定的组织级别的测量指标占比高。在这个项目中,测试发现的重大问题占比高,说明测试的目标性强,方向准确。
但也从另一个方面,说明这个项目的程序质量也较其它项目稍弱,测试难度大。
1.3 各系统的缺陷情况
缺陷系统 | A-致命 | B-严重 | C-一般 | D-建议 | 全部 |
新建系统 | 81 | 208 | 309 | 63 | 661 |
外围系统1 | 23 | 84 | 101 | 27 | 235 |
外围系统2 | 15 | 35 | 69 | 10 | 129 |
外围系统3 | 16 | 44 | 30 | 11 | 101 |
外围系统4 | 46 | 116 | 121 | 17 | 300 |
外围系统5 | 12 | 31 | 56 | 14 | 113 |
外围系统6 | 18 | 52 | 63 | 9 | 142 |
外围系统7 | 8 | 27 | 54 | 5 | 94 |
合计 | 219 | 593 | 823 | 156 | 1,791 |
02 测试缺陷质量分析
此项目的重点评估指标为交易覆盖度,交易通过率,缺陷收敛,缺陷遗留等,整体达标,符合上线标准。
指标类 | 指标项 | 主要策略 | 覆盖度 | 通过率 | ||
交易功能 | 交易通过率(新建数据) | 新建数据进行功能测试 | 所有交易,均有案例覆盖,覆盖度100% | 100.00% | ||
交易通过率(迁移数据) | 利用数迁数据进行测试 | 所有交易,均有案例覆盖,覆盖度100% | 100.00% | |||
缺陷收敛 | 缺陷排错率递减 | 前三轮测试缺陷排错率为49%,第一轮回归排错率为40%,第二轮回归排错率为12%,呈大幅递减趋势 | ||||
每轮日均缺陷<20 | 上轮回归日增缺陷10个,本轮回归日增缺陷2个,日增呈递减趋势 | |||||
接口 | 正常接口功能 | 对接口枚举值进行覆盖测试,每日监测失败流水 | 所有接口均有案例覆盖,覆盖度100% | 100% | ||
异常接口功能(超时、乱序) | ||||||
文件 | 文件处理 | 对经过ODS、文服、FTP方式传输文件进行测试 | 涉及8个系统 | 100% |
03 问题分析
1)漏检责任系统分析
共计9个问题涉及漏检,分布于4个系统。
系统名称 | 漏检问题数 | 缺陷数 | 漏测率 |
新建系统 | 3 | 661 | 0.45% |
外围系统1 | 1 | 235 | 0.43% |
外围系统3 | 1 | 101 | 0.99% |
外围系统4 | 2 | 300 | 0.67% |
2) 漏检原因分析:
针对整体情况的测试漏检原因主要是测试分析遗漏,业务需求不全,具体分布如下:
测试漏检原因 | 故障数量 | 单项占比 % |
测试分析遗漏 | 3 | 37.5% |
业务需求不全 | 2 | 25% |
测试用例遗漏 | 1 | 12.5% |
测试执行遗漏 | 1 | 12.5% |
测试环境错误 | 1 | 12.5% |
三、 管理经验总结
01 进度管理
在计划制定方面,测试团队按以下方式开展工作:
Ø 测试经理根据项目整体计划及各里程碑点,确定了测试整体计划及轮次安排,同时制定了每轮的测试策略及目标;
Ø 任务分解:测试计划与目标按周分解,便于跟进与通报各系统进展。
在进度监控方面,主要措施包括:
Ø 测试计划纳入风险管理的范围,定时检查测试进展,识别风险;计划变更纳入监控范围。
Ø 测试计划在测试方案评审时统一纳入评审范围,目的在于审核其合理性。
四、 后续改进方向
01 持续推进测试知识库建设
基于磨刀不误砍柴工的认识,测试团队必须持续通过基础案例库的建设,通过测试基础规范的制定,以保持团队整体战斗力。在后续的测试中,需要持续更新这些基础规范,以保持可用性和有效性,规避人员流动等带来的新老交替问题。
02 参与“迭代”“敏捷”,探索测试模式的多样性。
迭代开发、敏捷开发需要开发测试的联动性非常紧密,在项目前期,测试团队对于文档缺失等现实问题极不适应,后续测试团队如何提前介入开发任务,开发部门如何加强有效配合都是需要积极探索的方向。
行动吧,在路上总比一直观望的要好,未来的你肯定会感谢现在拼搏的自己!如果想学习提升找不到资料,没人答疑解惑时,请及时加入群:1150305204,里面有各种测试开发资料和技术可以一起交流哦。
最后: 下方这份完整的软件测试视频教程已经整理上传完成,需要的朋友们可以自行领取【保证100%免费】
软件测试面试文档
我们学习必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有字节大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。