移动端测试规范化流程
项目准备阶段
一、需求评审
参加需求评审之前先看交互稿,了解整个项目的需求,带着问题参加评审。
二、需求排期
熟悉整体需求后评估自己的工作总量,根据技术给出的提测时间,合理安排自己各个项目的测试工作。若工作完成所需时间与产品给出的上线时间有较大误差,应及时向项目组提出,由产品和技术沟通解决方案。
三、测试计划
排期确定后,根据开发预估的提测时间编写测试计划,并在云笔记“跨境电商QA>
项目汇总.table
”里记录该项目。
四、用例编写
根据需求稿和视觉稿编写测试用例。可以根据个人习惯先在Xmind
里编写测试思路,再导入TC
平台。导入时需注意区分用例的重要性(P0,P1,P2)
。平台默认级别为P1
,建议挑出主干用例设为P0
,异常情况覆盖用例设为P2
。
在设计测试用例时应考虑专项测试,兼容性测试等,若为原有功能的优化任务,还需考虑老版本的兼容问题和覆盖安装测试内容等。
用例编写完成后挑出所有P0
及部分P1
用例,建立冒烟用例执行集。
五、用例评审
因开发反馈,尽早参加用例评审并确定产品细节能帮助开发在实现过程中少绕弯路,所以用例完成后可尽快进行用例评审。参与人员:策划,交互,ms
开发,服务端开发,客户端开发,测试。
QA
在用例评审时可一并将冒烟执行集给出,由产品和开发共同确认该执行集可用于冒烟。
六、接口测试
在提测前,根据NEI
上的开发设计文档,编写各自模块的服务端和ms
接口测试。
项目进行阶段
一、接口调试
后端开发完成特定接口后,
QA
即可进行接口调试,以期在正式提测前发现后端问题,做到测试提前。
二、功能预演
开发提测后,
QA
集合产品开发一起做功能预演,由开发执行冒烟用例集,保证主流程畅通。功能预演后QA将结果邮件发送到kjds-mobile
,若少于90%
的用例通过则视为功能预演失败,测试将问题提到JIRA
上,等开发全部修复后进行第二次功能预演。邮件内容包含但不限于预演结果,参与人员,用例执行结果,已提bug汇总,需求变更,等。
三、第一轮测试
功能预演通过后,
QA
展开第一轮测试。在测试过程中发现的bug
应及时提到JIRA
上进行跟踪。遇到的问题可以记录在云笔记“考拉-
移动端QA>
周会>
每周问题记录.table
”中。
当天测试结束后,发进度报告给项目负责人。内容包括用例执行情况,bug
记录,风险提示等。由项目负责人汇总后发到
kjds-mobile
。
四、第二轮测试
第一轮测试结束后,进行第二轮测试以及第一轮测试的遗留bug
验证。若功能不影响线上数据,
QA
可将分支部署到预发布上进行第二轮。
分支上预发布后,测试ms
后台功能前QA需要把相应操作加入CAS
系统,再知会产品/
运营找张建hzzhj@corp.netease.com
添加对应权限。
五、内部众测
在分支部署上预发布后,项目负责人上传域名绑定pre4
的测试包到众测平台进行内部试用。
六、产品验收
第二轮测试完成后,
QA
通知策划,交互,视觉做功能验收,以期在bug bash
前发现较多视觉问题,把大家在bug bash
时的精力更多的投放到功能验证方面。
七、Bug Bash
项目负责人组织移动端相关人员进行bug bash
,
QA
负责在会上记录问题,结束后汇总发邮件和提JIRA
,功能问题由
QA
跟踪,视觉问题由视觉跟踪。
八、打点测试
一般在两轮测试结束后开发已经将打点功能提测,此时
QA
需根据数据组提供的打点设计文档进行打点测试。
九、服务端上线
服务端上线的工作内容包括:
- 利用线上包执行小回归用例集,包括在dev上进行接口测试,在master上进行UI自动化回归以及安卓/iOS手动下单支付。
- 上线前关闭所有的服务端bugs和tasks。
- 检查上线列表中是否包含自己责任模块的工程,分支和上线注意事项。
十、灰度测试
灰度发布的工作内容:
- 利用灰度包连线上服务器执行大回归用例集。
- 发包前关闭所有的客户端bugs和tasks。
- 完成测试质量报告。内容包括:提测时间,需求变更,用例执行情况,测试中遇到的问题等。质量报告示例:http://qms.hz.netease.com/versions/7744
项目上线以后
一、回归用例集
将各自模块的回归用例集更新至最新版本的对应功能,并归档一些过时用例。
二、UI
自动化
更新UI
自动化case
,以覆盖新功能且能维护老功能。
三、线上问题跟踪
关注POPO
群,微信,易信等渠道抛出的问题,积极回复或反馈给对应负责人。