测试总结报告

1.1 发布物版本
1.2 测试目标
1.3 人员矩阵
1.4 测试时间
1.5 测试任务
1.6 测试环境
1.7 测试工具
人像库导库工具
1.8 测试范围
2. 测试结果分析
2.1 测试结果
2.1.0 总体bug情况
2.1.2 功能测试
2.1.3 性能测试
2.1.4 安装部署测试
2.2 重大bug
2.3 遗留问题
3. 结论&问题
3.1 测试结论
3.2 问题总结

1.1 发布物版本
本次测试的发布物版本为：安防盒子 0.5哪吒版beta版

哪吒版本是基于0.4之后的版本

安全机制升级，全面对接特征管控平台版本
支持加密卡对接国家特征管控平台
支持feature加密功能
支持全盘加密
支持标签功能（需按项目申请开启）

辅助包：

预警上报（可配置）
1.2 测试目标
使发布物满足beta版发布标准，beta版发布标准详见：产品发布质量标准

1.3 人员矩阵

项目负责人 xx 项目管理，对项目的结果负责
产品 xx prd设计,评审
工程测试 xxxx 测试方案设计,测试用例设计,测试用例执行
工程研发
xxxx

xxxx

后端开发,前端开发
1.4 测试时间
测试计划总时间：24 人*U

测试实际总时间：34 人*U

偏差说明:

.5哪吒版本开发质量相对于上个.4的有进步，但是机器不够用，导致延迟发布了
.5哪吒版本的性能问题,迟迟不能有效解决,这样给测试做性能测试和稳定性测试的时间根本不够,稳定性测试的时间很短目前以跑14小时服务还正常稳定

1.5 测试任务

2019.10.09 ~ 2019.10.14 第一轮测试 镜像包
2019.10.15 ~ 2019.10.18 第二轮测试 镜像包
2019.10.23 ~ 2019.10.24 第三轮测试 镜像包
2019.10.25 ~ 2019.10.31 第四轮测试 镜像包
2019.10.18 ~ 2019.10.31 性能测试 镜像包
2019.10.21 ~ 2019.10.31 稳定性测试 镜像包
2019.10.28 ~ 2019.10.31 安装部署测试 镜像包
2019.10.28 ~ 2019.10.31 升级部署测试
0.4环境

0.5初始化新环境

1.6 测试环境

1.7 测试工具
人像库导库工具
工具操作文档:K8S导库操作文档

根据导库文档,准备1W张人像照片,分别用50qps,100qps,150qps,200qps进行导库

Start adding filters in the filter tools menu.

50 200 10000 0 0
50 200 10000 0 0
50 200 10000 0 0
100 100 10000 0 0
100 100 10000 0 0
150 67 7238 2762 0
150 67 7452 2548 0
200 50 4596 5404 0
200 50 4352 5648 0

之前0.3版本抽特征是2块卡抽的,基本可以到达150+的qps
现在.4只有1张卡抽特征,目前感觉100qps左右差不多,再往上失败率陡增

1.8 测试范围
prd链接：安防盒子0.5哪吒PRD

1 新功能测试 支持部局重点人员库特征值更新 P0 陆岳 是 特征值更新以前场实际为准,内场测试都是mock服务测试

按摄像头设置重点人员占比 P0 陆岳 是

支持按年龄布控 P0 刘坦 是

支持双网双平台架构 P1 刘坦 是
2 回归测试
卡口功能

P0 刘坦,陆岳 是

人像检索 P0 刘坦,陆岳 是

预警信息 P0 刘坦,陆岳 是

数据源管理 P0 刘坦,陆岳 是

系统设置 P0 刘坦,陆岳 是

预警结果上报 P0 刘坦,陆岳 是

POC工具 P0 刘坦 是
3 性能测试 图片流性能 P0 刘帅旗 是

视频流性能 P0 刘帅旗 是

混合流性能 P1 刘帅旗

4 安装部署测试 单机安装和部署
P0

陆岳 是 验收通过

双网平台安装和部署 P1 陆岳 是 验收通过

升级 P0 陆岳 是 验收通过
5 稳定性测试
混合留视频+图片流

p1 殷陆岳 是
2. 测试结果分析
2.1 测试结果
2.1.0 总体bug情况

第一轮
blocker: 0
critical: 0
major: 12
medium: 1
resloved:12个,

open:1个

第二轮
blocker: 0
critical: 1
major: 19
medium: 1
resloved:22个,

open:1个

第三轮
blocker: 1
critical: 7
major: 14
medium:0
resloved:53个,

open:1个

第四轮
blocker: 0
critical: 0
major: 4
medium:
resloved:4个,

2.1.2 功能测试
测试报告链接：安防盒子.5哪吒版本功能测试报告

2.1.3 性能测试
测试报告链接: 安防盒子0.4 beta版性能测试报告

2.1.4 安装部署测试
安装部署文档：安防盒子 .5哪吒 实施部署文档

1.单机内网部署文档:

加密数据盘 暂未操作
安装Paas 验收通过
安装license server 验收通过
部署盒子服务 验收通过
验证盒子服务 验证通过

2.双网部署文档

部署网闸 部分操作
视频网端安防盒子部署 验收通过
公安网端安防盒子部署 验收通过
3.升级部署文档

备份操作 验收通过
设备恢复

0.3->0.4

验收通过
人像库恢复

0.3->0.4

验收失败

路人库没有恢复成功
报警数据恢复

0.3->0.4

验收失败 报警数据丢失,并且缺失场景图

2.2 重大bug

XBOX-849 [前场问题] 云南玉溪盒子0.5版本人脸框对不上 已关闭
XBOX-790 [性能测试]图片流压力测试导致1:N检错500报错 已关闭
XBOX-780 预警结果导出–部局库导出–Excel表格里无档案照 已关闭
XBOX-765 预警结果上报–点击全部上报无反应 已关闭
2.3 遗留问题

XBOX-715 Major 调用盒子路人检索，传入的skip不为0时报错 bug 已关闭
XBOX-719 Major 卡口–今日历史抓拍显示时间顺序乱的 bug 已关闭
XBOX-724 Major 人像库部署charts配置增加一个清理crontab参数 bug 已关闭
XBOX-725

Major 单机k8s IP变化方案验证 bug 已关闭
3. 结论&问题
3.1 测试结论
经过测试，截止2019.10.31时间,安防盒子0.5哪吒 beta版本达到beta版本发布标准。

3.2 问题总结
beta版本如果未通过即原因是:

对于遗留Konw Issue问题，研发会做进一步评估：

产品端可能会优化PRD需求.遗留问题研发会在下个版本或者在当下版本Hotfix解决