一、业务
- 需求承接
- 线上问题、线上责任故障、客诉
二、稳定性
(一) 压测、演练
(二) 质量右移:
- 定期复盘、压测演练复盘
(三) 覆盖率:
- 单测覆盖、集测覆盖
(四) 质量左移:
- 冒烟用例、自动化冒烟用例(通过率),提测、发布卡点
(五) 发布三板斧:监控、灰度、应急
(六) 监控告警:补齐、降噪、有效
- 异常告警:处理逻辑、外部依赖等高可用场景异常能够触发告警
- 异动告警:水位下跌超过阈值,流量异常波动能够触发告警
(七) 数据质量:ODPS数据,flink任务等
- 数据质量的方法论、工具服务,包括但不限于:数据规则校验,数据巡检,数据监控,数据攻防,数据链路稳定性保障等。基于大数据特性也催生了一波测试智能化方案,如核对自动推导,自动攻防等
- 数据探查
- 四个方面衡量数据质量问题:
-
- 准确性:数据信息符合业务预期,是否有冗余数据
- 一致性:列表和详情的数据一致,上下游数据一致
- 及时性:数据能够及时产出
- 完整性:数据记录完整
(八) 质量流程优化
(九) 技术风险:
- 线上质量专项:快速发现、及时应急
- 技术风险工作,可按阶段分为风险识别,预防,发现,止血,定位,恢复,预案演练、红蓝攻防等。类比测试阶段的单元测试、接口测试、集成测试、系统测试、用户测试
- 定位、止血、恢复(数据恢复到故障前的状态)
三、提效&工具
(一) 大模型探索、大模型的使用场景
- 大模型质量复盘,对bug进行分析和整理,给出提升质量的建议
(二) 接口自动化用例,对应用例实验室,自动化用例通过率
(三) 智能化测试
- 目前看得到的一些探索有:用例自动生成、用例自动校验(通过图像识别做UI自动校验,通过数据关系推导做数据自动校验等)、用例失败自动定位、用例自动修复等
- 要具备数据算法能力