一、系统描述
1、拟选厂商简介
凯云联创(北京)科技有限公司(简称:凯云科技)成立于2014年,核心业务是为军方、航空航天、中电、兵器、船舶、核工业、核物理、院校、交通、水利水电、通信以及金融等行业提供软件测试工具与测试服务,并承接软件开发、系统集成及信息技术服务。凯云科技前身是北京凯云创智软件技术有限公司,始创于2005年,自主研发了超过40项拥有全部知识产权的软硬件产品,是国家级高新技术企业、北京市双软认定企业。
凯云科技自创建以来,始终致力于国产自主可控软件测试类产品的研究、开发及培训推广,为国内军用、工业、民用以及院校培训教学提供具有国际领先水平、通用性强、可靠性高、应用成本低的通用嵌入式系统测试及管理环境,同时积极引进国内外先进技术。主要产品覆盖软件测试业务全过程,其中有自主研发的嵌入式系统测试平台系列产品、嵌入式系统测试教学实训平台、软件测试项目管理系统、测试数据生成与管理软件等,引进产品包括各类源代码分析测试、功能测试、性能测试、安全性测试等工具。
基于长期在嵌入式系统及软件测试领域的研究与创新,凯云科技目前已发展为国内软件测试类产品和服务的主要供应商,公司总部位于中关村丰台园区,并在上海、西安、成都设有办事处。在全国有包括:航天、航空、兵器、电子、船舶等400余家高端客户,在装备软件工程与质量检测方面,拥有优异的业绩和良好的口碑。
2、产品的主要配置
2.1、凯云通用装备综合测试仪组成
凯云通用装备综合测试仪(Kiyun Tester)为软、硬件结合的设备,设备的主要硬件配置由测试仪主机、航插线缆(支持串口、网口、CAN口等接口类型)、电源适配器及充电线组成,外购件主要配置由键盘、鼠标和接线端子板组成。所有硬件板卡均集成在一台主机上,从而灵活便携,能适应多种测试环境搭建的需要,同时也有利于充分利用现有的测试资源。软件部分由通用嵌入式系统测试平台和软件测试项目管理系统两部分组成。
2.2、通用嵌入式系统测试平台
2.2.1、通用嵌入式系统测试平台组成
通用嵌入式系统测试平台由测试设计软件模块、测试执行服务软件模块、测试执行客户端软件模块、设备资源管理软件模块等主要软件模块以及曲线数据生成、CRC插件生成与诊断、测试数据记录与查看、应用协议生成工具、应用协议模板管理、测试报告生成等系列工具组成。系统架构如图3-1所示。
图3-1 ETest_USB系统组成
使用ETest_USB平台进行装备嵌入式系统软件测试的步骤如下(见图3-2所示):
首先使用测试设计软件建立待测系统模型、设计测试用例及数据、生成测试目标文件。
然后利用CAN、RS232等各类通信板卡形成适合于待测单配置嵌入式设备或待测嵌入式系统的适配接口,连接到待测系统。
接下来使用测试执行服务软件读取测试目标文件;测试执行服务软件驱动测试执行客户端软件,测试执行客户端软件将测试数据转换为各类板卡的输出数据输出到被测对象,从而驱动被测对象的软件运行。
同时,被测对象运行所产生的输出数据发送到通信板卡接口,通过测试执行客户端软件进入测试执行服务软件中。在测试过程中可以通过测试数据记录与查看软件和测试监控软件对测试数据进行监控、分析与评估。
图3-2通用嵌入式系统测试平台使用流程
ETest采用构件化分层的软件开发框架,软件使用Visual Studio 2010开发环境,底层代码采用VC++语言开发,集成框架基于Micosoft .Net 4.0,集成开发语言使用C#,形成图3-3所示的分层结构。
ETes软件由服务器软件与客户端软件形成C/S结构的软件,客户端软件负责运行与通信板卡的交互,服务器软件负责实现测试设计与测试执行调度,一个服务器与多个客户端可以形成不同规模层次的测试系统,以确保满足不同规模的测试需求。
软件架构共分为5层,分别为设备驱动服务层、通信服务层、协议服务层、应用服务层和应用层,通过这5层结构,实现了软件的构件化与模块化,确保能够适应快速变化的测试需求。
图3-3 ETest软件分层结构
驱动层服务层用于在操作系统中安装板卡所带的各种驱动,包括RS232、RS422、RS485、CAN、AD/DA等设备的驱动,实现系统对所有硬件设备的统一管理,通过驱动服务层,测试平台将复杂的硬件设备管理进行封装与统一。
通信服务层用于在驱动层的基础上,封装成程序编程接口,以屏蔽不同的硬件设备通信编程接口的不同,通信服务层包括CAN通信、RS232通信、RS422通信、RS485通信等,通过通信服务层可以确保上层应用软件进行调用通信时能够统一实现。
协议服务层用于对通信协议进行描述与解析,包括DPD语言编译服务、协议模型抽象、通道模型抽象、数据类型抽象、条件逻辑抽象、计算模型抽象、数组模型抽象、校验模型抽象、校验算法接口模型等,通过协议服务层,实现了应用服务层的通信协议编解码。
应用服务层通过系列应用构件为实现测试平台的主体应用奠定了基础,包括了测试方案、测试项目、仿真模型绘制、通道管理、协议管理、外围设备、监控设计、监控运行时、I/O中心、元数据服务器、脚本解析、客户端管理、时序处理、多线程服务、数据对象编码/解码等。
应用层是ETest测试平台的主体应用部分,包括测试设计软件、测试执行服务软件、测试执行客户进程与数据监控软件、设备资源管理软件以及一些工具辅助软件。
(1)测试设计软件模块
测试设计软件模块对待测系统及其对外接口进行建模,进行协议编辑及分析、创建测试监控、建立硬件规划、创建及管理测试用例,确定测试要准备的接口设备数量。其主要功能包括:
- 进行测试方案管理,针对测试方案的操作有:新建方案、打开方案、保存方案。
- 每个测试方案中,可以包含一个到多个测试项目,多个测试项目的存在使得每个测试方案可以完成多个测试项目的设计,便于开展多个配置项到系统的集成测试。
- 测试项目有新建、重命名、删除和查看属性的操作。
- 用图形化的方式对被测系统、外围系统及被测系统对外接口进行描述,包括接口数量和接口类型,包括RS422、1553B、CAN、AD、DA、DI、DO、CT、Freq-CT、TCP等类型;能够设定接口参数。
- 创建接口协议,并使用协议描述语言进行协议描述,包括报文包头、包尾、校验等,描述各个字段类型及编码方式,以及分支、循环等结构。
- 为了适应各种数据通信的需要,协议字段具有丰富的类型,包括:整形(无符号和有符号,8位/16位/32位/自定义长度)、浮点型、布尔类型、条件语句类型、分支语句类型、计算字段、校验字段、数组字段。
- 创建测试监控,描述实时数据监控的监控内容和显示形式,并可设定报警条件。
- 用户可以在测试监控模块添加测试监控并在监控面板上添加数据监控仪器,通过不同的类型监控仪器绑定协议字段或者字段按照某种公式运算的结果,从而在运行时通过监控仪器指针或数值的改变直观地显示出测试通讯时数据的变化。
- 测试监控工具栏管理所有的测试监控仪表,包括数字表仪器,圆盘仪表,曲线图,枚举类型等。选择合适的监控仪表,将其拖拽到监控面板的合适的位置,即可添加该监控仪表到监控面板上。用鼠标拖拽监控仪表的边缘,即可调整其大小。
- 打开“属性”标签页,可以修改测试仪表的属性。其中最重要的属性是“协议段”属性,表明了该监控仪表的数据来源。
- 通过“协议段”属性右侧的展开按钮,可以打开“绑定数据协议”对话框,其中显示当前项目中的仿真模型中的所有的协议和协议段。
- 测试仪表的数据源,既可以是一个协议字段,也可以是若干个协议字段组成的公式。
- 在“绑定数据协议”对话框下部的输入框中输入协议字段,或协议字段组成的公式。双击需要的字段名称,可以添加该字段名称到自定义公式的光标所在位置。
- 创建测试硬件规划,确定测试需要使用的接口板卡设备,以及接口板卡设备对应的资源。
- 创建测试用例,并提供测试用例的管理方式,包括分组、删除、重命名等。
- 创建测试用例的内容,包括使用测试脚本描述测试的过程,包括变量定义、条件语句、循环语句、输出语句、数学运算、函数定义等。
- 提供测试脚本的扩展接口,能够实现向待测件的数据交互和数据自动解析,将比特流解析成具有意义的应用层数据。
- 提供时序控制的方式,能够按照一定的时序进行规定的操作。
- 提供运行环境设置方式,设置测试运行期间的仿真模型服务器、数据中心服务器、测试执行服务器和客户端的IP地址和端口号。
- 提供对标准输入输出监控进行配置的功能,确定标准输入输出监控的类别配置。
- 提供测试脚本执行方式,能够运行用户选择的测试脚本;用户能够选择终止脚本运行。
- 能够查看输出信息及错误信息。
(2)测试执行服务软件模块
测试执行软件模块为自动化测试执行软件的主要部分,与客户端软件相配合,驱动测试数据,进行自动化测试执行。主要实现以下功能:
- 提供进程调度服务后台运行程序,在进程调度代理的帮助下,根据测试设计软件的设计,在测试主机上启动测试执行、客户端、服务器等进程,并通过进程调度服务协调各个软件的运行逻辑。
- 提供仿真模型服务器后台运行程序,通过仿真模型服务器解析测试设计所建立的仿真模型,实现测试执行时数据收发的仿真解析服务。
- 提供数据中心服务器后台运行程序,在测试用例执行过程中,在数据中心服务器中集中统一处理通道中的收发收据,确保数据监控的分布式实现。
- 提供用例服务器后台运行程序,解析处理测试设计中所编写测试用例的执行过程。
- 提供标准输入输出监控窗口程序,可以显示仿真模型服务器、数据中心服务器、客户进程以及用例服务器运行过程中的调试信息。
- 解析测试脚本中的变量定义、条件语句、循环语句、输出语句、数学运算、函数定义等语句,进行相应的操作。
- 解析测试脚本扩展接口,实现向待测系统进行数据发送/接受和数据解析。
- 解析测试脚本,按照时序控制要求进行操作。
- 向客户端软件发送的测试数据注入包;接收客户端软件所发送的测试数据输出包。
- 按照用户要求即时停止测试用例的执行。
- 记录并显示测试用例的执行结果。
测试执行客户进程及数据监控模块运行在测试主机。主要实现以下功能:
- 提供设备驱动功能,实现1553B、CAN、RS422、RS232、AD/DA/DI/DO等接口板卡的驱动能力。
- 测试执行客户软件同测试执行软件均运行在测试主机,采用内存机制交换数据。
- 同被测件通信使用测试设计软件中配置好的通信参数。
- 提供方便的硬件板卡扩展方式,方便新的硬件板卡的集成。
- 接收来自测试执行软件发送的测试数据注入包,进行数据格式的转换,并通过通信板卡发送到待测件。
- 接收来自被测件发送的测试数据输出包,并转发到测试执行软件。
- 登录测试服务软件后,显示测试设计软件设计的全部测试监控界面,可选择一个或多个测试监控面板进行测试监控。
- 运行指定的测试监控,在测试执行过程中实时显示指定的测试数据,提供数字仪器、仪表盘、枚举项、曲线图等数据监控方式。
- 可以实时显示测试执行中的测试数据;
- 可以以解析后的协议数据格式显示测试数据,也可以以二进制、八进制、十六进制显示测试数据。
- 可以设置数据过滤条件,实现界面显示特定数据的功能。
- 可以设置数据报警条件,当出现某种特性数据时,软件以醒目的形式显示出满足报警条件的数据。
- 可以进行数据查询,可以查询某个时间段的报文,也可以查询某个协议字段的数据。
- 可以对指定的数据进行统计,也可以查看数据曲线图。
(4)设备资源管理软件模块
设备资源管理软件模块提供了系统支持的测试设备及通道的管理功能,提供了系统设备扩展的接口。其主要实现以下功能:
- 添加、删除系统设备。
- 修改系统设备的数量。
- 添加、删除设备包含的通道。
- 修改设备包含的通道的数量及类型。
- 保存设备信息到设备资源文件中,在测试设计软件中使用。
(5)辅助工具
工具软件提供了嵌入式系统测试时部分常用的软件工具,主要包括以下软件模块:
- 曲线数据生成工具;
具有曲线数据编辑、坐标选择、曲线数据读取、曲线数据存储等功能,配合测试执行软件,提供一种测试数据生成手段。
- 测试数据记录与查看工具;
在测试执行时,可记录测试执行中的数据,供测试执行结束后查看与分析,包括协议选择、数据过滤、报警条件设置功能。
- 应用协议生成工具;
提供应用协议的表格化编辑功能,可以设置协议的字段组成、字段类型、字段默认取值等。
- CRC插件诊断器与CRC插件生成器
提供CRC校验算法的设计功能,可设计自定义的CRC算法,诊断其算法正确性,并最终形成协议描述语言中的CRC字段算法插件。
2.3、软件测试项目管理系统
2.3.1软件测试项目管理系统组成
软件测试项目管理系统采用C/S软件架构,是一个多人协同工作的环境。系统部署如图3-4所示。
图3-4 软件测试项目管理系统部署关系图
数据库服务器端部署SQL Server数据库,包括人力资源数据库、设备资源数据库、项目管理数据库、测试项目数据库、历史归档数据库。
客户端部署软件测试项目管理系统运行程序,客户端登录数据库服务器端,每个测试项目组都有自己独立操作的测试项目数据库,测试项目组内部协同操作测试项目数据库。
凯云STM软件测试项目管理系统的软件模块组成如图3-5所示。
图3-5 STM软件测试项目管理系统软件模块组成
软件自上而下共分为六层,分别为系统服务层、数据服务层、支撑服务层、基础信息维护层、业务应用层和决策分析层。
系统服务层提供操作系统、字处理环境和数据库引擎服务。
数据服务层提供数据库结构表,包括人力资源数据库、设备资源数据库、项目管理数据库、测试项目数据库、历史归档数据库。
支撑服务层主要用于提供上层应用需要的算法服务,包括文档生成服务、文档解析服务、测试用例生成服务、数据统计分析服务、数据库备份与恢复服务等。
基础信息管理层包括系统管理和测试基础信息管理两部分,系统管理提供用户管理、角色权限管理、系统名词定义、文档书签管理等功能,测试基础信息管理是与测试项目相关的基础信息管理,包括测试类型管理、项目类型管理、软件类型管理、测试级别管理、硬件资源管理、软件资源管理。
业务应用与决策分析是测试项目管理的主要业务流程,业务应用针对单个项目进行,包括项目管理过程和项目技术过程,项目管理过程包括项目登记、计划进度管理、质量保证过程管理、配置管理过程管理、项目归档过程管理,项目技术过程包括被测件接受与处理、测试需求分析过程、测试用例设计过程、测试环境搭建过程、测试执行任务分配与管理、测试执行过程、软件问题处理、回归测试处理,决策分析主要包括项目统计分析、项目趋势对比分析和年度项目分析。
2.3.2、软件测试项目管理系统组成各模块主要功能
对于系统服务层、数据服务层、支撑服务层而言,由于属于软件体系结构设计的范畴,所有涉及业务的功能都在基础信息管理、业务应用和决策分析中,这里对这些涉及业务的功能模块进行说明。
- 系统信息管理
系统管理的主要目的是建立软件测试中心的组织架构与人员组成,为每名成员确定角色与权限,定义系统名词和数据字典,进行文档模板的书签管理。
- 用户管理
用户管理管理测试机构内的所有人员,包括用户名称、用户类型、用户权限、联系方式、用户编号;可以进行用户的添加和删除;可以进行用户密码的设置与管理。
- 角色管理
角色管理功能管理以下有关软件测试项目的八类角色,主要包括系统管理员、测试项目负责人、测试人员、SQA(软件质量保证)、SCM(软件配置项管理)、技术主管、质量主管、中心领导,支持添加、删除角色的功能,角色属性包括角色名称、角色编码、角色职责描述。
- 权限管理
权限管理为测试机构中心的所有角色分配权限,权限指对各个功能模块操作的权限,权限分配包括查看、添加、修改、删除,可分配权限的模块涉及基础信息维护、业务应用和决策分析的所有功能模块。
- 数据字典管理
数据字典提供问题状态、问题属性、问题严重性等级、问题类型、软件中的计量单位等数据字典,用于使STM系统具有更好的适应性。
- 系统名词管理
系统名词定义对STM中出现或使用的简写字母进行注解诠释,主要包括测试级别、测试类型的名词进行统一。
- 文档书签管理
书签管理的主要功能是用来定义和标识文档输出模板中用到的书签信息及书签的数据来源,包括项目编号、项目名称、测试单位、密级、文档日期等于与文档生成密切相关的书签进行管理。
- 测试基础信息管理
测试基础信息管理主要提供与测试项目相关的信息管理功能,在建立“测试项目”前,必须维护好“测试类型、项目类型、软件类型、测试级别”数据。
- 测试类型管理
测试类型管理可以添加、删除和修改测试类型名称、测试类型标识、测试类型编号、测试类型描述、测试类型目标、测试类型的结果分析要求、测试类型的测试终止条件等,可以管理的测试类型包括功能测试、性能测试、安全性测试、可靠性测试、容量测试、强度测试、数据处理测试、代码审查、代码走查、静态质量分析等。
- 项目类型管理
项目类型管理对测试项目的类型进行管理,主要包括首次开发项目、改造项目还是其他项目,项目类型可以添加、删除与修改。
- 测试级别管理
测试级别管理包括单元级别测试、部件级别测试、配置项级别测试和系统级别测试,测试级别可以添加、删除与修改。
- 软件类型管理
软件类型管理描述待测试的应用程序(软件)属于哪一类,包括嵌入式软件、非嵌入系统软件两大类,软件类型可以添加、删除与修改。
- 硬件资源管理
硬件资源管理管理测试单位现有的测试硬件资源,为后面测试环境的搭建提供依据,硬件属性设置包括序号、名称、标识、型号、计量单位、用途、购买日期等,硬件设备可以添加、删除与修改。
- 软件资源管理
软件资源管理管理测试单位现有的测试软件资源,为后面测试环境的搭建提供依据,软件属性设置包括序号、名称、标识、软件版本、用途、购买日期等,软件设备可以添加、删除与修改。
- 项目管理过程
项目管理过程是测试流程管理中的管理过程,包含项目登记过程、测试进度与计划管理、测试项目质量保证过程、测试项目配置管理过程、测试项目归档管理过程。
- 项目登记
项目登记是测试中心测试项目的开端,项目登记过程包括创建新测试项目,进行角色分配,创建软件结构定义,还包括删除某个测试项目。
测试项目可输入的内容包括项目编号、项目名称、项目类型(新研、改造)、项目状态、委托单位、研制单位、测试单位、项目开始时间、项目预期结束时间、项目密级(内部、秘密、机密、绝密)、项目属性(内部测试、第三方测试、定型测评)。
创建新测试项目时需要分配项目组成员,包括测试项目负责人、测试人员、SQA人员、SCM人员。
创建新测试项目时需要录入被测系统的软件结构定义,包括系统的子系统以及子系统下软件配置项以及配置项下软件单元的组成信息,每个对象的基本信息包括软件名称、软件标识、软件类型(嵌入式、非嵌入式)、软件开发语言(汇编、C、C++、Java、C#、VB),软件运行环境(WindowsXP、Windows 7、VxWorks等)、软件研制单位、软件概要描述等。
- 计划进度管理
计划进度管理主要确定测试项目的进度及任务分配,测试项目的进度确定里程碑节点,任务分配确定每个人所承担的项目子任务。
里程碑节点确定被测件接收、测试需求分析、测试设计、测试执行的起始时间、完成时间、评审时间、结束时间。其中完成时间是指任务的完成时间,而结束时间是指评审通过并修改完成后的里程碑节点关闭时间。
在每一个进度阶段中确定该进度阶段的任务组成,包括任务名称、任务标识、任务概述、任务开始时间、任务结束时间、任务预计的工作量(人时)、任务的成果。
在测试项目推进过程中,可以根据实际进度不断调整进度计划方案,并确定预测进度与工作量与实际的偏离程度。
- 质量保证过程
质量保证过程主要是在项目的阶段中开展质量保证活动,主要包括制定项目的质量保证计划、审核工作产品、评审项目流程。每个阶段所产生的工作产品有所不同,被测件接收阶段的工作产品为被测件文档接收清单,测试需求分析阶段的工作产品为测试需求规格说明、测试设计阶段的工作产品为测试说明、测试执行阶段的工作产品为测试记录、测试问题记录、测试问题报告。评审项目流程主要评审项目是否按照任务分配和流程股的要求开展,主要包括是否开展了评审工作、配置管理工作是否满足要求等。
- 配置管理过程
配置管理过程主要是在项目的各个阶段中开展配置管理活动,主要包括制定项目的配置管理计划,确定各个工作产品的名称、标识与控制要求,在各个项目阶段进行配置项的入库、出库及发布等工作。入库填写入库的配置项名称、版本、标识、申请入库的人员及角色。出库填写出库的配置项名称、版本、标识、申请出库的人员及角色。发布时填写需要发布的配置项名称、版本、标识、发布的人员及角色、发布的时间。
- 项目归档管理
项目归档管理是在项目结束后进行项目的归档,主要包括归档文档的生成、归档数据的打包,填写归档时间、归档人、档案保管年限等,将测试项目的测试数据从管理系统中的数据库中备份,形成历史归档库。
对于在测试项目登记过程中已经确定出项目组成、软件规模、总体进度要求的项目,可以按照模型自动生成进度计划管理、质量保证过程、配置管理过程的数据。
- 项目技术过程
项目的技术过程是测试项目所工作的主要技术内容,主要包括被测件的接收与处理、测试需求的分析、测试用例设计、测试环境搭建、测试任务分配、测试任务的执行、软件问题的处理、回归测试。
- 被测件接收
被测件接收过程管理和接收由研制方提供的待测试应用程序(软件)的相关资源,如,源代码、设计文档、设计说明、软件需求、规格说明、使用手册、安装包等。
被测件接收的文档中如果提供的资源中存在Word文档并且具有规范的文档结构,导入完成后,该Word文档同时被增加到引用文档,包括Word文档的章节,用于后续应用程序(软件)的测评追踪。
被测件接收时可以自动分析研制方提供的目录,并按照各个软件配置项的文档、代码、安装包的形式组织被测件接收目录,可以添加、删除与修改被测件资源存储的位置。
被测件接收时可以确定引用文档的组成,添加、删除与编辑引用文档属性,包括引用文档标识、名称、版本、发布日期、编制单位、文档页数等信息。
- 测试需求分析
测试需求分析过程依据应用程序(软件)研制时的需求,添加、删除和修改测试项、测试类型,确定测试项的需求追踪关系。
测试项基本信息包括测试项名称、测试项标识、测试项测试类型、优先级、创建时间、创建人、测试项描述、测试项的软件设计约束、测试的充分性与终止条件、测试项的输入与输出。
测试项创建完毕后,需要编辑和修改测试项的追踪关系,测试项追踪关系可以为一对多关系。测试需求项追踪可以直接在界面中选择所需追踪到的文档的小节号。
在测试项下可以有测试子项,每个测试子项所需要编辑的内容与测试项相同。
- 测试用例设计
测试用例为测试项下测试类型的测试用例,测试用例设计提供测试用例的新建、删除、移动、编辑等功能。
测试用例需要编辑的内容包括测试用例标识、测试用例名称、测试用例需要使用的测试工具、测试用例执行的前提和约束、测试用例的测试目的、测试用例所采用的测试方法、测试用例正常终止条件、测试用例异常终止条件。
每个测试用例都需要具有测试步骤设计,测试步骤设计提供添加、删除、修改、上移、下移操作,每个测试操作步骤包括步骤描述、步骤预期结果。
在测试用例的前提和约束、步骤操作描述、步骤预期结果描述中可以增加描述参数,实现测试用例的实例化参数描述。
测试用例无论有无参数,都默认实例化一个测试用例实例。
在测试用例具有参数描述时,测试用例的实例化用表格的形式显示出每个实例所取得的参数值。
对于具有实例化的测试用例,可以按照组合测试用例设计自动生成满足组合覆盖要求的测试用例。
组合测试用例生成时,可以输入实例化参数的取值范围、枚举取值,通过参数范围值的输入可以自动生成符合要求的测试用例。
测试用例的实例可以添加、删除和修改。
- 测试环境搭建
测试环境搭建模块从测试信息管理模块的硬件资源管理、软件资源管理中选择所需的硬件和软件搭建测试环境,也可以根据需要临时添加本项目所需要的额外的硬件和软件设备进行测试环境搭建。
测试环境中的硬件描述中需要描述硬件名称、硬件标识、硬件来源、硬件知识产权、硬件的用途。
测试环境中的软件描述中需要描述软件的名称、软件标识、软件来源、软件知识产权、软件的用途。
测试环境搭建中可以为测试环境添加附图,附图为测试环境拓扑图,附图的格式支持Visio、JPG、BMP、Word等。
- 测试任务分配
测试任务分配功能主要是创建测试任务,指定任务包含的测试用例,为所有的测试用例指定具体的测试执行人员(测试人员)。
测试任务可以建立、删除、上移、下移。
测试任务编辑的内容包括任务号、任务名称、任务开始时间、任务结束时间、创建人、负责人、监测人、任务的状态、任务的执行人。
任务的执行人可以是一个,也可以是多个。
为每个测试任务分配测试任务的测试用例,测试任务中的测试用例可以添加与删除。
测试用例添加到测试任务中后,待分配测试用例列表中将消失,测试用例从测试任务中删除后,待分配测试用例列表中将增加该用例。
- 测试执行
测试任务分配完成后进入测试执行过程,测试执行过程选择一个测试实例执行,每选择一个测试实例时要求显示出该测试实例的描述及步骤。
测试执行中填写测试执行的每个测试步骤的实际运行结果,当实际运行结果与预期结果不一致时,可以选择测试步骤失败选项,对于失败的测试步骤自动弹出测试问题描述窗体。
测试执行中每个测试步骤显示出该测试步骤的执行状态、执行状态包括未执行、通过、未通过,自动给出测试执行时间。
每个测试用例的测试执行生成测试原始记录,原始记录可以查看,但不允许编辑和修改,原始记录包括测试执行过程描述及总结、测试过程监督情况说明。
测试任务中的测试用例列表中可以按照用户选择显示出已执行用例、未执行用例、通过用例、未通过用例以及显示全部。
测试问题描述窗口中描述问题标识、问题状态、问题类型、问题严重等级、问题处理优先级、问题发现时间、问题描述、问题修改建议等。
所弹出的问题描述窗口中自动在问题描述编辑框中描述相应的问题信息,便于测试人员在此基础上修改问题描述。
对于具有软件问题的测试用例执行结果,可以附加软件问题的截图描述。
每个测试用例的执行可以产生多个软件问题,可以查看和修改软件问题描述。
- 软件问题处理
测试完成后需要对软件中产生的软件问题进行处理,软件问题处理包括导入、导出问题列表,开发方逐个问题的同意与拒绝,对于拒绝的问题,需要给出拒绝的理由。
可将原始问题全部导出或部分导出,由开发方统一填写拒绝理由,再导入数据库。
可以进行原始问题的归并处理,以便将根据多个软件问题现象归并出实际的软件问题,每个归并的软件问题需要填写问题标识、问题类型、问题严重性等级、问题优先级、问题属性,问题所对应的测试项、问题描述、问题修改建议。
原始问题归并处理后,在归并问题列表中选择某个问题,给出该问题的原始问题列表积极问题描述。
- 回归测试处理
当被测软件被修改后,可以选择之前第一轮测试的测试内容进行回归测试,回归测试可以自动根据上一轮次测试结果继承全部测试内容,也可以选择仅继承未通过的测试内容。
回归测试轮次中的测试项、测试类型、测试用例可以添加、删除与修改,测试项删除后,该测试项下的所有子项及其关联的测试类型、测试用例均被删除。
回归测试轮次可以增加,也可以删除,删除某个测试轮次后,该测试轮次的测试项、测试用例、测试执行结果等均被删除。
每一轮回归测试均包括被测件接收、测试需求分析、测试用例设计、测试环境搭建、测试任务分配、测试执行等过程。
- 决策分析
决策分析主要用于支撑测试项目组和测试中心领导层分析软件测试项目的开展成果,进行市场、技术等的决策判断,决策分析需要支持项目统计分析、项目趋势对比分析和年度项目分析功能。
- 项目统计分析
项目统计分析以单个项目为基础进行统计分析,可统计分析的量包括测试项统计分析、测试用例统计分析、测试类型统计分析、软件问题统计分析等。
测试项统计分析以列表的形式显示单个测试项目中各个测试级别的测试项数量和测试项总数量。
测试用例统计分析以列表的形式显示单个测试项目中各个测试级别的测试项下的测试用例数量和测试实例数量,并具有统计测试级别测试用例数量、测试实例数量以及项目级别的测试用例数量、测试实例数量的功能。
测试类型统计分析以列表的形式显示单个测试项目中各个测试级别下的测试类型数量及单个测试项目所涉及到的测试类型数量,还可以按照嵌入式软件、非嵌入式软件统计分类。
软件问题统计分析以列表的形式显示单个测试项目中各个测试级别下的所发现的软件问题数量以及致命问题、严重问题、一般问题、建议改进问题的数量,并能给出单个项目项目级的问题统计结果。
软件问题统计分析还可以按照测试类型/问题级别、测试类型/问题属性的方式进行统计分析。
- 项目趋势对比分析
项目趋势对比分析可以对比分析各个测试项目的技术特征变化,包括测试项/代码行、测试实例/代码行、测试用例/代码行、问题数/代码行、问题数/测试实例数等复合计算指标的项目间对比分析,以判断某个测试项目是否过分偏离总体特征。
项目趋势对比分析时,可以按照不同的项目类型建立趋势对比分析,在趋势对比分析时,添加某个项目后就自动按照统计特征值进行趋势对比分析。
- 年度统计分析
年度项目统计分析可以统计出每个年度或某个时间段的项目整体情况,包括项目数量、已完成数量、未完成数量,对于未完成的区分处于测试的哪个阶段,处于每个阶段的测试项目数量。
年度项目统计分析可以统计分析已完成项目的成果,包括软件配置项数量、测试需求项数量、测试用例项数量、涉及到的测试类型数、测试实例项数量、涉及的软件代码行、发现的软件问题总数。对于发现的软件问题数可以进一步细分为致命问题数、严重问题数、一般问题数、建议改进问题数。
年度项目统计分析时,所有项目数据都可以按照嵌入式、非嵌入式分类统计分析。
年度项目统计分析时,可以计算所有统计量的统计值,包括均值、均方差、中位数、最大值、最小值等,还能计算测试项/代码行、测试实例/代码行、测试用例/代码行、问题数/代码行、问题数/测试实例数等复合计算指标及其离散程度。
年度项目统计分析可以进行年度间的趋势对比分析,包括测试项/代码行、测试实例/代码行、测试用例/代码行、问题数/代码行、问题数/测试实例数等复合计算指标的项目间对比分析,以判断某个年度测试项目是否过分偏离总体特征,以做出市场及技术的管理决策。
- 测试项目异地协同处理
为了确保在不联网环境下测试项目能够异地测试,然后再进行项目整合,需要按照测试级别导出某个测试级别树下的所有测试数据,然后再在回到有联网环境时,导入该个测试级别树下的所有测试数据。