【腾讯TMQ】走进标准化测试

一、引言

为避免大篇幅的概念介绍，我们直接从项目实践入手，为读者朋友理解标准化测试。在开始，只要理解标准化测试是为了解决项目测试实际问题而产生的测试方案即可。

二、背景介绍

手机QQ浏览器（iPhone）项目测试在2014年采用探索式测试改革后取得了不错的效果，但是近两年来项目发布节奏加速，测试任务量剧增，与之对应的测试人员编制并无扩大，且外包流动性很大，如何在原有的基础上继续提升测试效率和质量是一直以来我们一直在琢磨的事。我们面临的主要问题包括：

2.1新旧外包交替

新旧外包交替，隐性经验传承不够好。

大外界环境竞争比较激烈的情况下，外包测试的流动性比较高，在新旧人交接过程中不可避免的存在一些经验损耗问题，例如被测app在横屏模式下特别容易出现错位的问题，这些在交接过程中是甚少涉及的。

2.2二维表的形式指导测试

二维表的形式指导测试，颗粒度太粗，测试过程未知风险多。

在过去的自由测试阶段，我们通常采用二维表的方式来指导探索式测试活动，主要是将公共模块和特性模块交叉测试。因为特性模块之间也可能存在耦合影响问题，后期又想发展到N维表，但是没有切实可行的方案。这个方案颗粒度比较粗，虽然赋予了测试人员较高的自由度，但是缺乏了强有力的指导性，导致测试结果强依赖于测试人员的自觉性和经验。

2.3对测试记录的态度比较含糊

对测试记录的态度比较含糊，控制不好成本。

测试记录是把双刃剑，大家都知道多做测试记录能够更好的管理和优化测试过程，存在的弊端是测试记录会导致测试思路中断，或者导致测试耗时，在没有找到合适的测试记录方式前，我们没有对测试记录做硬性要求。

2.4测试策略制定不够灵活多变

测试策略制定不够灵活多变，对需求变更或者发布节奏变动适应不佳。

随着大资讯时代的到来，手机浏览器呈现出一种越来越多元化的面貌，要随时能够响应时下热门需求，又要应对苹果时时更新的Appstore规则。计划可能是40天发布一个版本，实际上可能40天需要发布3个版本来响应市场变化。这种情况下的测试时间和人数并没有可增加的空间，只能通过测试策略的调整来应对。之前的测试分析并没有考虑过制作随时可变得测试策略，而是针对迭代、集成、上线这种模式做的相对固定的测试策略。现在要求集成测试这种类型的测试要能随时提供1天、1.5天、2天、3天等不同时间，不同测试范围和重点的测试模式。迭代测试也要能够提供含用例测试、速测（例如半个小时无用例验证）、顺便测（测试某模块的时候关注下是否影响其他模块）等不同的测试模式。这些变化都要求更为灵活的测试策略，更为透明的风险提示。

重点摘要

这些问题的出现，反映了我们测试活动中虽然有很多方法和工具，但是还是缺少一种隐形的指导标准。大到测试策略的选择，小到具体测试内容，都有一个看不见的手在指引着。我们本着解决实际问题的初衷做了一系列的应对策略后，最终将这个隐形的手作为一种测试标准化呈现。

三、应对策略

接下来针对上述问题，手机QQ浏览器（iPhone）项目的测试采用了三个基于的方案。这些方案不全部是近半年的创新，也有对过去旧有技术、方式的继承。

3.1基于用户

通常一个新人熟悉被测产品是通过阅读和执行用例的方式，这些用例当初设计是根据历次需求文档转换而成，具有比较鲜明的版本特色，不能很系统的表述产品可提供的服务特性。而系统的描述产品特性是能够有效指导自由测试阶段探索式测试思路的。之前有特性描述二维表的形式，在这个基础上我们进行了进一步扩展和细化。

3.1.1 九大用户维度

在历次版本的海量用户反馈中，我们积累和提炼出了手机浏览器九个基于用户使用维度的价值点：获取信息、编辑、下载、社交分享、播放阅读、隐私安全、商业能力、杀手应用、多快好省。解释下各个价值点的意义。

①获取信息

浏览器最重要也是最直观的价值，就是能为用户提供获取信息的渠道。落地到具体的模块举例看，就是搜索服务要能够正常使用，获取到用户想要的内容，不可以白屏，不可以点击搜索崩溃，页面展示要能够完整无越界，书签能够跳转到对应的链接等等。这些是浏览器的核心质量，不可以出一点问题。

②编辑

编辑是一般APP都具备的价值，被测APP上能够提供给用户可编辑的界面和工具。例如下载好的内容可以保存重命名、删除，书签快链可以添加删除，搜索引擎可以设置，小说可以在书架里移动位置等等。编辑属于浏览器或者一般APP所具备的必备价值。

③下载

下载是很多应用类app提供的能力，浏览器可以提供文件类的下载，也可以提供部分视频的下载。这是一个卖点价值，包括很多视频播放类软件、应用分发类软件都应具备这种能力。这种下载使得APP能为用户提供无网络状态下的服务。从下载这个价值点维度上看，浏览器下载在很多模块中都或多或少有涉及。

④社交分享

社交分享是很多内容类应用常见的能力。浏览器作为内容呈现的容器，必然要有社交分享这个价值点，可以分享、传播到第三方APP。当然也包含了账号登录体系，内容同步，在游戏里还涉及了账号体系里的好友竞技。

⑤播放阅读

播放阅读是着重强调可播性可读性的价值点，例如文档类的解压阅读、视频的播放、小说阅读的流畅性等等。播放阅读是浏览器是否好用的一个非常重要的指标，因此可以列入价值点的一个分类中。一些小说阅读软件、微博产品在这方面都可以参考借鉴。

⑥隐私安全

隐私安全是价值点中不可不说的一个维度。一款好的APP在保护用户隐私方面应该不遗余力，对于浏览器来说，要检测危险站点，要保护用户阅读记录。这些隐私安全体现在各个模块的各个角落，单独列出来，特别关注新增功能和旧有功能对隐私安全方面的质量要求。

⑦商业能力

商业能力是指APP中涉及到用户付费或者运营广告的地方。因为付费环节是APP开发者的主要收入来源，也是用户比较敏感的环节，所以需要格外关注。广告运营也是APP盈利的一种模式，需要特别关注。在商业能力方面任何一个地方出现问题，都会引起极大的经济损失，并损害用户利益，所以需要特别关注。

⑧杀手应用

杀手应用是指APP为提升用户活跃度做的功能，例如下载该APP，可以提供免费wifi，又或者能够帮助用户拦截恶意电话之类的。给用户带来附加值，是有效提升日活和拉新的重要。因此称之为杀手应用，对杀手应用的测试也十分关键。杀手应用也可能存在于各个模块中，所以也单列为一个价值点维度。

⑨多快好省

多快好省更强调指性能方面的要求，倡导内容丰富（多）、速度流畅（快）、使用便捷（好）、省流省电（省）。这样通过多快好省就把测试范围从功能测试扩大到性能指标一起考虑了。

3.1.2 大纲级别质量标准