凯云科技软件测评中心于2022年7月底参加了中国航天科技集团有限公司软件评测中心组织的嵌入式软件功能测试和接口测试能力验证计划PT008,取得满意成绩并顺利通过能力验证。本次验证计划共计74家实验室参加,其中不乏国内知名大型测试机构,包括我中心共计22家检测出14个及以上的缺陷,约占30%。
图1:CNAS-STEC-PT008
嵌入式软件功能测试和接口测试能力验证
01
前言
本次测试要求根据GJB/Z 141-2004《军用软件测试指南》中的功能测试和接口测试条款对被测件进行测试。被测系统是一个模拟的天线伺服控制软件,为典型的控制系统嵌入式软件,主要功能是接收上位机指令发送的遥控指令,通过伺服控制算法,向天线座驱动发送控制量,并与上位机通过串口进行通信回传执行结果与状态。所有测试要求在10个工作日内完成,这是对所有参试测评中心嵌入式软件测试手段、测试人员能力的一次全面考验。我中心经对测试需求的认真分析,决定采用公司自主研发的测试管理系统STM和嵌入式软件半实物仿真测试集成开发环境ETest开展本次能力验证的软件测试工作。
能力验证结果发布后,公司对参与此次能力验证的有关单位进行了调研,在本次能力验证工作中应用了ETest测试工具及STM管理系统的测评中心均取得较满意成绩。我们分别从协议信息包的生成、测试用例的设计、人力投入、测试占用时间、文档资料准备、缺陷发现结果等角度进行了对比分析。结果可以看出,无论是测试效率还是测试能力均提高了70%。
序号 | 对比项目 | 传统测试技术单位 | 工具应用单位(ETest、STM) | 效果 |
1 | 协议信息包生成手段 | 程序员编程、调试、测试 | ETest拖曳、简单脚本开发 | 能力要求降低,无需开发参与 |
2 | 测试用例及数据设计手段 | 人工设计数据,繁琐、容易遗漏 | 等价类、边界值、组合自动生成测试数据 | 测试充分性大幅提高 |
3 | 测试数据管理 | 使用Wrod、Excel等方式管理,结构化与可视化程度较差,需要大量的标准化工作 | STM进行需求分解、测试用例管理 | 结构化程度提高,省去繁琐的标准化共工作 |
4 | 人力投入(个) | 至少6人 | 3人 | 50% |
5 | 测试占用时间(人时) | 420人时以上 | 180人时 | 57% |
6 | 文档资料准备占用时间(人时) | 72人时 | 12人时 | 83% |