持续集成

持续集成

持续集成目的

• 提升线下测试效率，缩短测试时间和回归时间。
• 提升提测代码质量。
• 缩短测试准备和测试执行的时间。
• 缩短问题定位时间。
• 前瞻性，预测性指标。

持续集成的现状

• 测试数据，环境准备耗时较长，影响测试时间。
• 自动化能力不足，导致测试回归时间重复，较长。
• 测试标准 & 测试流程没有统一。
• 测试没有准入，提测质量差
• 测试反馈数据未贯通

主要工作

1. 测试改进
2. 构建部署改进
3. 团队习惯
4. 回归，数据支撑，各项指标提升状况

1 测试改进

• 测试项
  • 代码扫描，Eroor非误报必须修复
  • 安全扫描，P1 P2问题非误报情况必须修复
  • 冒烟测试，测试执行高效，30分钟内，稳定性90%以上，测试用例分级，明确失败造成的影响
  • 性能 / 压力测试
  • diff测试
  • 集成测试
  • 测试覆盖率
    • 分之
    • 方法
    • 核心代码
    • 特殊场景
  • 每周发出自动化效果总周报出来
• 规范化执行测试服务化结合
  • 每个模块规定自动化owner，关联开发owner，负责进行自动化评估和自动化验收监督，为自动化效果负责
  • CI红灯率和覆盖率达标
• 专项测试攻坚
  • 基础服务数据策略变更自动化测试方法
  • 基础数据自动化测试
  • 灰度
  • 效果
  • 性能专项 提供性能测试环境，方案，报告，数据分析和优化建议

2 构建部署改进

• 测试环境准备
  • 能够快速的搭建功能，性能测试环境
  • 搭建过程，编排标准化，统一化
• 问题排查 & 环境问题排查
  • 测试失败规范报告，明确失败原因
  • 快速展示调用链信息进行定位，规范日志
    • session ID
    • uesr ID
• 监控
  • 慢查询
  • 调用链trace
  • 延迟，错误率
  • 高CPU，内存占用方法
  • 统一报警机制，责任人

3 团队习惯

• 减少不规范的提交
• 准入
• 不断完善自动化能力

4 回顾，数据支撑，各项指标提成状况

• 测试覆盖率，单日，多日指标
• trunk稳定率
• 平均异常修复时间
• 异常构建率
• 整体构建时间
• 单需求bug率
• 准入打回次数