爱奇艺QA测试环境管理平台初探

爱奇艺技术产品团队

于 2020-08-28 19:00:00 发布

阅读量3.4k

点赞数 1

文章标签：定位人工智能大数据 java 区块链

本文链接：https://blog.csdn.net/weixin_38753262/article/details/108289389

版权

背景

测试环境是项目测试的关键环节，其部署效率、稳定性、连通性直接影响项目的迭代效率。在测试环节中测试环境一直是行业中的较为薄弱一环，面临很多的问题，比如：

搭建成本高：复杂业务的梳理成本高；搭建测试环境，需要经过申请资源、部署组件、连通性测试等一系列流程，路径长、成本高；搭建完成后需要持续人力投入等；
复制成本高：绝大部分系统的测试环境无法一键0成本复制，也无法快速满足多项目多套测试环境的需求，影响项目进度；
联调成本高：涉及多个系统的联调项目，整体可用性较差，经常阻碍项目，且一旦出问题，排查耗时；
使用成本高：无法快速找到所依赖系统的测试环境，尤其是站在客户端角度。

测试环境的治理已经迫在眉睫，所以，爱奇艺测试团队立项测试环境平台，实现如下几个目标：

统一测试环境管理方案，整合资源，减少各业务环境的开发、维护成本；
解决各业务联调测试环境部署、问题定位等带来的人力投入；
方便用户使用，按需随时使用，减少等待、使用成本。

测试环境管理要素

面对各业务的不同测试环境部署流程、不同类型系统架构，如何提炼通用的测试环境管理方案，是首要解决的难点。因此测试团队提炼出测试环境的通用性部署流程，从下图中可以看出，测试环境平台需要支撑的关键能力包括：支持人工梳理的业务拓扑及部署脚本的集中管理和对用户透明的资源使用，以及方便的动态部署和问题自动定位、恢复。

爱奇艺测试环境管理方案

测试环境梳理流程清晰后，聚焦到测试环境部署环节提炼出不同种类系统的测试环境拓扑，并得出了测试环境管理的五要素：存储、中间件、应用、组件、依赖，而其中，应用就是测试环境管理的最小单元。

爱奇艺测试环境拓扑

测试环境平台方案

综合测试环境的痛点、治理目标、核心要素，我们提炼出了爱奇艺测试环境平台的核心设计理念：用户一次性梳理测试环境核心要素，0成本任意搭建测试环境，测试环境问题自动定位和恢复。并提出了测试环境产品方案，如下：

爱奇艺测试平台产品方案

难点攻坚

随着测试环境平台产品架构的明确，后续的落地也遇到了很多难点，我们将一些关键问题进行了详细解读。

一、资源的高效管理

搭建测试环境依赖众多资源，诸如虚机、容器、mysql、redis、rocketMQ、zookeeper等，如果全部由测试环境平台来统一管理，那将是一项非常大的维护成本，结合行业经验，我们采取了一种合作模式：与公司各资源管理的服务合作，各服务负责提供各类资源的动态创建、更新、销毁机制，测试环境平台统一集成，并创建自己的资源池，预留小部分资源来支撑实时部署，同时可根据部署资源需求动态扩容资源池，如下图所示：

二、测试环境的安全保障

各业务之前测试环境全部部署在生产网络下，存在干扰线上服务的安全隐患，此次测试环境治理目标之一也包括将QA测试环境部署在隔离网络。在与公司服务治理团队的一起努力下，共建了测试环境迁移整体方案，已完成一期QA测试环境的迁移试点，同时也加速了RD测试环境的隔离迁移进度。

隔离网络方案如下图所示：

隔离网络方案

目前，测试环境平台支持同时在生产区、测试区部署测试环境，我们的最终目标是测试环境只在测试区部署。

三、测试环境的高效部署

随着越来越多的系统接入测试环境平台，整体性能逐渐吃紧，单个应用部署耗时最高达到了60分钟，所以测试团队将之前架构进行优化，逐步拆解成了微服务架构，并通过削峰、缓存、重试、及时丢弃的组合方案，逐步将单个应用部署耗时由最高60分钟降低到10分钟、平均4分钟，部署成功率由60%提升到95%以上，基本上搭建一套测试环境在5分钟左右完成。

同时，为降低不同类型业务、系统架构的接入成本以及平台开发成本，采用工作流模式，灵活编排不同的测试环境部署流程。

四、资源的高利用率

一套测试环境搭建完成后，首要目标是保证该套测试环境连通、可用，因为不能连接线上服务，所以在部署完成所需的系统后，所依赖的系统如何部署，直接决定了资源的利用率。因此，我们采取智能链路判断的方案，一方面保证新的测试环境连通、可用，一方面最大程度复用现有的基准测试环境保证资源利用率最大化。