《腾讯iOS测试实践》一一1.2 工程效率

本节书摘来自华章计算机《腾讯iOS测试实践》一书中的第1章，第1.2节,作者：丁如敏　王琳　等著
　 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2　工程效率

总体来说，工程效率就是研发效率（包含测试效率）。这里我们会把测试效率单独提出来进行说明，因为这是与测试工程师相关度最大的工作。研发效率，其实就是让产品上线的时间更快（在品质有保障的前提下），大多数时候是说与研发流程相关的（不局限于敏捷流程，Feature Team研发模型），例如包含但不局限于以下活动。
需求评审：需求评审机制以及更新通知，避免需求有改动而没有及时同步到相关角色。
代码质量：静态代码扫描，千行代码缺陷率等。
架构评审：代码架构的讨论以及评审。
Bug流程：Bug生命周期，避免随便修改Bug状态以及备注缺失。
Code Review：代码评审，如果有代码评审委员会就更好了。
Dogfood：自己做的产品自己（项目各成员）先体验。
Showcase：完成某个特性，可以通过会议针对某个特性进行展示，一般由产品经理主持。
上面提到的活动，只有通过整个项目团队（各个角色）的通力配合，才能更加高效。
再提一下测试效率，这大多数由测试工程师主导，也是测试工程师最主要的工作内容。测试效率包含但不局限于以下这些活动。
测试周期：测试与研发周期是密切关联的，包括迭代测试、集成测试、回归测试、上线测试等，每个阶段都要把握好测试效率和测试资源分配。
测试设计：包括需求覆盖度、用例覆盖度、用例执行效率等。
自动化测试：使用自动化执行的方式进行测试，可以快速得出测试结果，节省人力成本。
静态代码分析：使用一定的工具来对代码进行静态扫描，提前发现代码隐藏的问题。
测试技术创新：通过对测试技术的创新，例如精准测试、机器学习等方式，来变更测试方式，大幅度提升测试质量和效率。
接下来举两个例子具体看下。
1.2.1　自动化测试
自动化测试于20世纪90年代才开始逐渐成熟，特别是敏捷研发的流行以及推崇的TDD模式，自动化测试也逐渐流行起来。对于自动化测试，我们还是得多关注其投入产出比（ROI），特别是对于UI自动化测试。业界自动化测试金字塔模型建议做单元测试或者接口测试多于UI自动化测试。关于自动化测试投入产出比，请参阅第6章介绍的内容。
对于iOS平台上的自动化测试实践，我们也有在不同方向上的尝试（参见第5章），并都有不错的收获。相关自动化测试的开展还需要有一些自动化测试框架的支持（详细自动化测试框架的内容会在第7章介绍），QQ浏览器（iPhone）测试团队主要移植Google开源的EarlGrey框架来作为自动化测试的基础框架。本节先简单介绍几种主流自动化测试类型。

1. BVT（Build Verification Test）
   业界现在流行持续交付的模式。那么每次持续集成编译出包后，自动化会运行一些基础功能测试用例，保证版本基础功能可用，而不会因为新代码合入影响基础功能。这部分主要介绍UI自动化测试，当然，随着版本需求的变更，维护成本也会增加。但对于QQ浏览器的UI变更还不是很频繁，维护成本还相对可控，整体的投入产出也不错，具体可参考第6章的内容。

2.监控类
根据产品的业务特点，我们会对产品进行一些监控，例如手机QQ浏览器（iPhone）项目实现了三种类型的监控测试，即终端视频嗅探监控、终端feeds流短视频可播性监控、终端资讯类监控。这部分监控的基础框架和BVT实现是一致的，只是基于业务形态做了调整，采用的也是EarlGrey框架并进行了二次开发。可参考第6章关于测试框架的二次开发。
3.性能自动化测试
性能测试涉及各种数据的采集和分析，而数据采集往往很复杂并且非常耗时，性能自动化测试也都集中在数据采集这一块。目前我们针对页面速度、产品稳定性、电量、流量、内存等各个方面进行性能自动化测试的尝试，详细内容请参见第4章。
1.2.2　静态代码分析
静态代码分析就是在不执行代码的情况下，通过一定的算法规则（词法分析、语法分析、单函数分析、代码段分析、数据流分析、资源分析、依赖链分析、更高级的智能逻辑分析）对整个工程的代码进行分析，以此来找出代码中的缺陷。这样就可以提早发现问题，大大降低研发成本。美国软件工程专家Capers Jones提出的软件测试缺陷价值图如图1-1所示。

图1-1　软件测试缺陷价值图
图1-1中的三条曲线分别代表引入的缺陷、发现缺陷、缺陷修复成本。越是在前期发现的缺陷，修复缺陷的成本越低，越是到后期，修复缺陷的成本越高。通常来说，发现缺陷主要在功能测试、集成测试阶段。
如果能够在Coding阶段发现大部分缺陷，就能大大降低修复缺陷的成本。静态代码分析技术恰恰能够很好地在Coding阶段发现部分代码问题，这样就能够大大节约软件开发成本。
经过实践论证，iOS平台比较好用的两款工具如下。
Clang的Scan-Build工具（下载地址：http://clang-analyzer.llvm.org/scan-build.html）。
FaceBook的Infer工具（下载地址：https://github.com/facebook/infer）。
目前这两款工具都是开源的，除了能够使用其基本的功能外，如果还有其他的业务需求，可以对这两款工具进行二次开发：添加自己的静态分析规则和分析算法。
QQ浏览器（iPhone）项目采用Scan-Build工具发现代码缺陷，如图1-2所示。

图1-2　Scan-Build工具发现代码缺陷统计图
采用Infer工具发现代码缺陷统计图如图1-3所示，共发现1275处缺陷。

图1-3　Infer工具发现代码缺陷统计图
每日构建版本时，配置工程会自动采用这两款工具对工程代码进行静态代码分析，这样在测试任务前就能发现代码缺陷，大大降低软件缺陷修复成本。