利用云效度量功能进行质量运营和效率驱动提升

作者简介：张冠楠，阿里巴巴技术专家，负责过阿里巴巴集团运维系统、研发中台系统以及阿里云持续发布系统的质量保障工作，致力于如何保障研发团队产品质量，同时提升研发团队的研发效率。在质量保障体系建设、持续集成领域、敏捷实践领域和研发效能领域方面均有研究。

【前言】

先表示感谢和敬意：本文中所有数据都来自云效度量数据功能页面截图（部分数据功能云效暂未开放给所有用户，所以截图会有些许区别）。我会在本文就各种具有关键表征的数据进行介绍，但是详细数据包括您的研发团队的数据，还是需要您亲自访问云效公有云度量功能页面。 我是传送门：https://rdc.aliyun.com/my/metric 

这个推导我深信不疑： 团队效率高，质量好 - 》 数据表征好

于是我也是充分的利用了云效公有云度量功能，加之以偷师学来的敏捷部分方法指导，实践于某事业部几十号人的团队，3月有余，所沉淀下来的一些asset，以及取得的成果，希望能有一些借鉴意义给到大家。

 

度量功能通过沉淀研发各个环节数据，透明企业研发健康状况，帮助组织团队对效能瓶颈进行诊断，并结合研发实践流程进行改进，用数据驱动企业提效。下面我跟踪张冠楠一起看看她是怎样做利用云效度量功能，帮助研发团队进行质量运营和效率驱动提升？

下图是一个某研发团队近半年的数据，您看到这三张图尤其是框了红色的部分，会得到什么样的信息呢？大家可以先看一下然后再往下面去看我对这些数据的认识。

 

根据上面这三张图的数据，我们可以得到的关于这个团队的信息是： 

（1）3月份完成的需求数量是最多的，比其它最高的月份也要高40%左右。 

（2）3月份的缺陷数也是各个月份最高的。 

（3）3月份线上发布的成功率是最低的。 结合3月份这个对于我们阿里很特别的日子，我们可以大胆做一些推测：这个月份我们研发人员的负载其实是相当重的，大家可能会去赶工完成更多的工作（需求），赶工干活可能引起的副作用就是质量上的下滑，增多了很多的缺陷数和下降了不少的发布成功率也是印证了这一点。

so数据是会说话的，那我们该怎么去听它说话呢？如果你觉得，哎呦，这个挺有意思，那么，就让我带着你走一遍如何利用云效上的这些研发数据，去了解团队现状、发现团队中可能存在的问题、再结合团队具体实际情况去做调整和改进，从而达到提升团队整体效率和质量的目标。

【数据展现】

先直接给大家数据，我是4月份开始进入这个团队的。大家重点看这个团队3月份的数据：

 

【问题分析】

上面几张图比较容易看出来，其实跟引子里面提到的情况差不多，这个团队明显特征是 

（1）3月份完成需求数明显上升，且团队负载较重 

（2）质量不高 - 缺陷数、reopen率以及线上发布成功率 

（3）需求平均完成时长特别长 ，很多需求都是很久之前的3月份才完成 

（4）突增故障

于是我们带着数据暴漏出来的这几个问题走进了团队，和团队一线研发人员、PD、TL都进行了沟通，并把数据展现给他们和大家一起去分析数字背后的意义，大家比较快的达成了一致，发现团队存在的主要问题是： 

（1）需求deliver传统瀑布模型，要1个半到2个月去完成一个特别大的需求，最后却和用户期望偏差较大，数据表征上就是之前需求数量较少，3月份突然完成了很多而且时间很长的需求。 

（2）大家加班加点的干活，负载较重，引入的缺陷也较多，PD和用户不满意带来的修改又会加重工作量，如此恶性循环。 

（3）缺陷重视度不高，管理不规范，优先级划分不清楚，甚至残留重要缺陷留在bug列表里面未解决而流到了线上引发故障。

上面三点相当于形成了个闭环，恶性循环，其结果就是，越做越多，越多越错，越错越改，越改越多。

【解决方案落地和数据运营】

发现了大家的问题之后，有针对性的进行解决和落地就相对容易，给到团队的解决方案是： 

（1）需求细化，拆分成最小可交付产出，尽量避免一个需求做了1个多月才去和PD和用户验收。 

（2）随时拥抱用户，迭代式产出，交付即验收，让不准确性降到最低，在错误误差最小的时候修正。

（3）重点跟进质量管理和运营，透明数据，鼓励团队尽早尽快修复bug，并有严格的上线前bug解决率标准。 

（4）尽最大力量保证线上发布成功率。

同时辅助于团队的决策，我们进行定期的数据运营，每周都会去统计和分析数据，包括质量和效率相关的，确保我们能在第一时间发现问题，纠正偏差，所以我这边在整个3个多月的过程中，重点关注了如下的数据，这些数据都在云效上可以得到，云效还包括别的较为丰富的数据，期间如果别的数据反应或者暴漏了问题，我也会纳入进来进行整体分析，关于这些数据的解读和分析，其内容也比较深入，可以专门开一篇文章来讲了，我这里只做简单的概括性介绍：

 （1）需求的吞吐量 - 团队指定时间段内完成的需求数，可大体反应出团队的产出趋势。

 （2）需求的平均完成时长 - 需求从创建到终态的平均时长，时间越多，需求交付粒度越小效率越高。 

 （3）新增缺陷的数量 - 统计时间段内团队被新增指派的缺陷数量，结合存量缺陷以及缺陷平均解决时长，反应团队产品的质量以及对于缺陷解决的效率。   （4）缺陷的平均解决时长 - 缺陷从创建到解决的平均时长，表征解决缺陷的效率。 

（5）线上发布的成功率 - 线上发布成功次数与总次数之比，越高证明产品上线质量越高。 

（6）缺陷的reopen率 - 缺陷被reopen的次数与缺陷数目之比，该值越高证明修复缺陷的质量越差，reopen率是表征产品质量的一个重要指标。

【结果分析和总结】

大家回到上面的6张图以及下面的一张缺陷解决时间图，我们3月底进入，重点看从4月份开始的数据： 

（1）团队的负载得到了控制，需求的完成数下降了，后续3个月保持一个相对平稳的状态。 

（2）需求细化拆分后，交付的时长下降了，团队以更快的速率去和用户交付需求。 

（3）缺陷的数量下降，reopen率下降，线上发布成功率上升 - 质量上在好转。 

（4）缺陷的平均解决时间明显上升，团队更快的交付，更快的反馈问题，更快的解决问题。

 

 

总体而言，就是需求交付的快，得到的反馈快，修正错误/缺陷的成本低，缺陷也会慢慢收敛，质量也会随之提升，缺陷修复的也快了，这就是一个良性循环，概括总计就是：效率提高了，质量也保证了。团队的人干活也是更加努力啦！~

【进一步提升】

根据对需求数量以及平均完成时长的数据显示，团队还是有上升空间的，对于需求的交付粒度和速率上，还是略显波动，要想更快的知道我们做的是否是用户需要的，就要快速的、迭代式的交付需求，以免用户想要个车，我们给他了个4个轮子。所以能否彻底解决此团队需求的交付和用户期望偏差的问题，还是需要再向前走一步，需求继续细化，提升交付速率。 - 参见敏捷中推荐的，快速迭代，快速交付，快速得到用户反馈，只为了更快更准确。

【总结】

数据有魅力，研发数据也一样，我们使用它就是为了两个目的：一是保证质量；二是确保交付的速率。行走过程中深度使用了云效度量新功能，结合敏捷中部分理念，配合传统测试方式保障，来助力研发团队。

可能有的人会质疑，说用这么冰冷冷的数字的数字去衡量我们可爱的程序员哥哥吗？ 我的回答是：这不是衡量，数据只是手段，是帮助我们去诊断团队的一个切实有效的手段。学会利用它并驾驭它。因此只需要我们：

关注数据，读懂数据
重点问题，重点解决，优先解决，一段时间只关注一个或很少的几个问题
相信团队的自驱能力，同时结合TL的管理与激励，养成良好的团队建设力

【最后】

研发团队那点事，每天打交道最多的就是需求、缺陷、代码、发布、应用、测试等等，这些和我们研发人员息息相关的数据，云效所拥有的，现在以研发大盘、团队空间、人员效能、质量分布等多种维度整合到了数据平台上，后续更会以定制化的方式满足研发团队对于研发数据的需求。利用好这个工具，能帮助我们清晰的了解团队的现状，暴漏问题，找到改进措施，去提升团队效率和产品质量。

我是一个敏捷爱好者，在深入研发团队做测试以及质量管理时候，也是吸取和借鉴了敏捷的部分思想去落地，我的感受是：拿最切实有用的来，比如站会，比如看板，比如快速迭代式交付需求，再加上数据辅助，都是能切实帮助到团队更快、更准确的交付高质量产品的手段。

【最后的最后】

絮絮叨叨说了很多，最后贴几张我在度量上截的某研发团队的数据展示，这个团队是我们最近接触的团队，通过数据我们对这个团队的推测是：团队在质量上需要提升，在缺陷的管理上需要加强。首先团队缺陷的数量逐月上升，这已经是质量不好的趋势体现，另外缺陷的解决时间也没有加快，这样会导致越来越多的缺陷流到线上去，可见团队除去1月份无故障，后续几个月都有故障。而且这个团队的线上发布成功率持续走低，开发对自己上线的代码把控程度较低。 所以，找到这些数据表征的背后原因，并且着手去解决掉，是这个团队近期最迫切的事情了。

 

 

养成良好的研发习惯，保持高效的团队协作，应该作为每个研发同学持之以恒的追求。