本报告是 XXX 系统测试报告,本次测试是在开发人员完成单元测试的基础上,根据系统需求文档,在测试方案基础上进行的系统测试。
版本 | 阶段 | 时间 | 人员 | 说明 |
X月版本 (迭代一) | story | Story:新需求及基本功能测试(包括:新需求正常功能测试、边界、需求性能、异常测试),UCD及界面测试。 | ||
SIT1 | SIT1:执行新需求全量用例,老功能集成验证,兼容性测试 | |||
SIT2 | SIT2:回归测试, 新需求功能拉通测试,老功能基本功能证 | |||
X月版本 (迭代二) | story | Story:新需求及基本功能测试(包括:新需求正常功能测试、边界、需求性能、异常测试),UCD及界面测试。 | ||
SIT1 | SIT1:执行新需求全量用例,老功能集成验证,兼容性测试 | |||
SIT2 | SIT2:回归测试, 新需求功能拉通测试,老功能基本功能验证 | |||
X月版本 (迭代三) | SIT1 | SIT1:执行新需求全量用例,老功能集成验证,兼容性测试 | ||
SIT2 | SIT2:回归测试, 新需求功能拉通测试,老功能基本功能验证 | |||
SVT1 | SVT1:问题回归、模拟生产环境演练测试、上线基本功能验证。 |
三、环境描述
终端类别 | 配置说明 |
服务器端 | CPU: Intel(R) Xeon(R) CPU (16 核 32 线程) 主频:3.30GHz 内存:32G 硬盘:500G 网络带宽:20M |
客户机端 | CPU: Intel(R) i7 主频:2.60GHZ 内存:16G 显卡:独立显卡,显存 4G 网络带宽:20M 操作系统:中文Windows10 浏览器: 谷歌70+ |
4.1主要结论和关键风险测试结论
经过充分测试,本系统在各阶段均完成了测试;完成了支持浏览器的兼容测试以及性能优化,所有被测特性的测试用例的累计执行率达到100%,测试发现的主要问题都得到了修正,回归测试结果正常;经过开展充分的测试活动,产品质量达到了上线标准。
●功能测试:
主要问题缺陷集中分布在:XXX模块,经过多轮测试,基本功能趋于稳定。
●兼容性测试:
Chrome70+进行了测试,没有发现浏览器兼容性问题。针对不同浏览器在不同分辨率(1920*1080,1366*768)下进行测试。验证结论为:通过验证,满足上线要求。
●资料测试:
主要安排针对于新特性/原有功能有变动的功能进行资料测试,测试中发现的问题均已及时反馈给资料输出人员,且问题均已得到及时更新和再次验证。验证结论为:通过验证,满足上线要求。
无
无。
序号 | 产品技术指标名称 | 设计目标 | 实测指标 |
1 | 系统性能 | 界面加载时间小于5s | 性能测试结果基本满足性能基线 |
2 | 系统兼容性 | 兼容谷歌70+以上版本浏览器 | 使用Chrome70+及更高版本时,系统各功能正常,界面显示正常 |
无
测试项目 | 执行的阶段(Y/N) | 测试策略分析 | |||||
Story | SIT1 | SIT2 | SVT1 | ||||
1 | 功能测试 | Y | Y | Y | Y | 主要关注新开发功能的测试及相关功能 | |
2 | 性能测试 | N | Y | Y | Y | 主要关注XX加载速率 | |
3 | 兼容性测试 | N | Y | Y | Y | 支持谷歌70+浏览器 | |
4 | 资料测试 | N | Y | Y | Y | 资料测试总体原则是只针对新开发和修改的资料进行验证,对于从老版本直接继承的资料除有特别需求之外不进行测试。 |
本次验证特性:XXX模块,XXX模块,。。。
主要验证功能包括:
针对新需求及新需求影响的功能变动、核心功能及算法进行全覆盖重点验证;其他功能进行一轮全覆盖验证,其余轮次做基本功能覆盖及修改点相关回归测试。
质量分析:
通过开发测试投入时间进行方案和场景分析、规范执行串讲/反串讲,从版本整体来看,需求功能都按照用户方案实现,整体质量基本满足客户需求,符合标准。
系统整体经过一个版本,总共发现XXX个问题单。详细信息见下表。
迭代 | 统计项 | 问题总数 | 致命问题 | 严重问题 | 一般问题 | 提示问题 |
迭代一B01X | 数目 | |||||
百分比 | 100% | |||||
迭代二B02X | 数目 | |||||
百分比 | 100% | |||||
迭代三B03X | 数目 | |||||
百分比 | 100% |
6.3缺陷分析
版本经过X个迭代,迭代一(1轮story,2轮SIT),迭代二(1轮story,2轮SIT),迭代三(2轮SIT,1轮SVT)。从问题单按版本分布图来看,问题单数量趋势相对正常,且经过多轮测试,版本功能逐渐稳定,达到迭代出口要求。
迭代一XXX平台发现XX个问题,发现的问题主要集中在XXX模块,在针对问题多的模块,采取了多验证、交叉测试等方法进行测试,经过多轮覆盖问题单明显收敛,整体质量趋于稳定。
(折线图)
(折线图)
质量评估说明:
A:质量优秀,没有遗留问题,完全满足市场需求
B:质量良好,存在一些一般问题,对功能的影响不大,可以支持用户的正常使用,可以进行发布;
C:质量一般,存在影响功能的严重问题,严重问题对功能的影响可控,可以通过规避措施解决,但不建议用户在网上使用;
D:质量较差,存在较多严重问题或者致命问题,版本功能没有实现或者实现存在重大缺陷,导致功能基本不可用,用户无法在应用,版本返回修改。
用例各项指标如下:
1)测试用例数:XXX
2)代码行数:XXKloc
3)测试用例密度为:用例数/代码行数=XX个/kloc,密度较低是由于需求算法较多逻辑复杂,一条用例里验证了对应参数整体计算过程。
4)测试用例执行覆盖率:用例数/用例数=100%
无
在功能测试中,按照不同的人负责不同版本的Chrome浏览器测试,Chrome70+版本分别进行了测试,没有发现浏览器兼容性问题。针对不同浏览器在不同分辨率(1920*1080,1366*768)下进行测试。验证结论为:通过验证,满足上线要求。
本版本主要安排针对于新特性/原有功能有变动的功能进行资料测试,测试中发现的问题均已及时反馈给资料输出人员,且问题均已得到及时更新和再次验证。验证结论为:通过验证,满足上线要求。