三层架构下的优酷视频搜索测试体系

一、简介

优酷搜索承担着内容分发场排头兵的重任，海量的视频内容都要依赖搜索触达和呈现给用户。同时，优酷搜索的使用范围正在扩大，已经开始为阿里文娱全系产品提供搜索服务和能力。

面对如此复杂且对稳定性、精准性要求极高的系统，质量保障工作显得尤为重要。本文将为大家介绍视频搜索的质量体系是如何构建和发挥作用的。

二、业务特点

1. 视频搜索架构特点

1. 支持复杂多样的上层业务场景，业务逻辑复杂；
2. 从搜索开始到结果返回的整个业务链路长，涉及的模块及外部依赖多；
3. 算法依赖数据，底层数据变更会引起上层算法结果变化。

2. 测试难点

1. 业务链路长且复杂，用例覆盖率等难以进行有效度量；
2. 离线和实时数据变更如何影响业务，数据质量的监控如何和业务紧密结合？
3. 算法模块存在复杂性及不可解释性，算法效果难以进行有效评估；
4. 海量数据中单个 badcase 无法说明问题，如何有效发掘共性的 badcase？

3. 质量保障方案

三、工程质量

1．回归

回归测试主要是上线发布前的测试，目的在于提前发现 bug，保证发布质量。目前各模块的回归测试均已作为研发流程的一环，交由研发自行进行冒烟，不管是否走提测流程，均能在一定程度上把控业务质量。

我们根据链路的分层，针对各层模块进行了各模块自身的功能回归建设。各模块测试用例的自动化回归依托于冒烟平台，其可实现任意环境的快速回归，目前已积累回归用例 5000+，定时线上巡检，分钟级发现问题。

2．监控

(1）功能监控

仍然是根据链路的模块划分，进行分层监控。监控仍依托于冒烟平台，并存储各模块日常冒烟监控数据以及真实 bug 数据。目前通过巡检已累计发现线上 bug 50+，具体冒烟监控数据大盘如下图所示。

<