衡量指标_选择要衡量的社区指标时要回答的4个问题

衡量指标

到目前为止，在“ 社区度量标准手册”专栏中，我已经讨论了设定目标以指导度量标准过程的重要性，概述了对研究社区有用的常规度量标准类型 ，并回顾了可用工具的技术细节。 在确定要为社区跟踪的指标时，对每个领域有更深入的了解很重要，因此，您不仅要选择好的指标，而且要了解并计划在数字与预期不一致时该怎么做。

评估要考虑纳入指标计划的特定指标时，应回答四个问题：

• 它有助于实现我的目标吗？
• 它有多精确？
• 它与其他指标有什么关系？
• 如果指标变为“不良”怎么办？

符合目标的

从我之前关于目标的讨论中 ，现在应该可以很明显地看出这一点：您为什么需要了解这一指标？ 这个指标与您的项目目标有关系吗？ 如果不是，那么您应该考虑忽略它，或者至少要少加一些强调。 不能帮助您衡量实现目标进度的指标会浪费时间和资源，而这些时间和资源本可以用于开发更好的指标。

要考虑的一件事是中间指标。 这些指标可能与您的目标没有明显的直接关系。 当单独考虑它们时，可能会很危险，并可能导致仅满足“数字”的不良行为，但是当与其他中介结合使用并在其他中介背景下进行解释时，它们可以帮助改善项目。

准确性

准确性定义为正确或精确的质量或状态。 衡量具有内在主观性和偏见的度量标准（例如调查问题）的准确性非常困难，因此在本次讨论中，我将讨论由计算机获得的客观度量标准，这些目标度量标准在很大程度上是高度精确和准确的。 数据不能撒谎 ，那么为什么我们还要讨论计算指标的准确性？ 度量标准不正确的可能性源于其人工解释。 这里的经典示例是下载次数 。 可以轻松地测量该指标（通常将其作为下载站点内置指标的一部分），但是如果将软件拆分为多个软件包，或者已知的系统过程产生人为膨胀（或缩小）的数字（例如自动测试），则该指标将不准确执行重复下载的系统。

只要您能识别并避免完全依赖绝对正确性，那么略有不准确的指标通常总比没有指标要好。 由于Web服务器，浏览器，代理，缓存，动态寻址，Cookie和其他可能混淆访问者参与度指标的计算方面的潜在技术本质，Web分析由于不准确地衡量现实而臭名昭著 。 但是，随着时间的推移，多个稍微不准确的网络指标可以准确地表明您确实刷新了网站，从而使重复访问次数减少了30％。 因此，不要担心您可能永远无法达到100％的准确度。

了解关系

^{数据来自： NHTSA，DOT HS 810780 。 美国农业部（pdf）}

度量标准的世界充满了源自统计短语“ 相关性并不意味着因果关系 ”的示例。 选择指标时，请仔细考虑所选指标是否可能与其他指标直接或间接相关。 相关指标通常可以帮助诊断成功和失败，并指出需要对项目进行的更改，以推动您所寻求的改进。

真实地证明一个度量标准的行为会导致另一度量标准的可预测变化，需要进行大量的实验和统计分析，但是您不必走得那么远。 如果您怀疑存在某种关系，请注意并观察其随时间的变化，如果证据表明存在某种关系，则可以在自己的项目中进行实验以检验假设。

例如，开源项目的一个典型目标是吸引新的开发人员来推动创新，这些开发人员将其丰富的经验和背景引入该项目。 一个给定的项目会注意到，当“从贡献到提交代码的平均时间”减少时，加入该项目的新参与者的数量就会增加。 如果随着时间的推移证据保持这种相关性，则该项目可能会决定投入更多资源来处理捐款。 这可能会在其他地方产生影响（例如，由于引入许多新代码而导致的错误增加），因此在使用新发现的知识时，请不要过度旋转。

计划失败

在衡量了指标的准确性和适用性之后，您需要考虑并计划在事情未按计划进行时（将要发生的事情）将要做什么。 考虑以下情况：您为项目选择了几个与质量相关的指标，并且普遍同意它们对于项目而言是准确且重要的。 质量检查小组正在努力工作，但是您选择的指标仍然会受到影响。 你是做什么？ 您有几种选择：

• 没做什么。
• 让质量检查小组在周末参加更多测试。
• 与开发人员合作找出所有错误的根本原因。
• 选择不同的指标。

哪个是正确的选择？ 答案应该不会令您感到惊讶： 这取决于 。 如果趋势是预期的，那么您可能无需执行任何操作，例如，如果资源限制迫使您以某种其他指标来交换质量。 如果您不了解QA，则质量检查人员可能实际上需要编写更多测试。 或者，您可能需要对开发中的系统性问题进行根本原因分析。 最后一项特别重要，要包括在任何计划中； 您的指标可能已经过时，不再与项目目标保持一致，应该定期进行评估，并根据需要进行消除或替换。

很少有一个正确的选择-对于每个度量标准，概述潜在的失败原因以及您需要问哪些问题以及在各种情况下将要做什么将更为重要。 对于每个可能的原因，它不必是冗长的操作清单，但是您至少应列出一些潜在的原因以及如何进行故障调查。

通过回答有关指标的这四个问题，您将对它们的目的和功效有更深入的了解。 更重要的是，与项目的其余部分共享答案将使您的社区成员有更大的自主权和目标感，这比直接要求他们满足一组看似随意的数字要好得多。

翻译自: https://opensource.com/article/17/2/4-questions-answer-when-choosing-community-metrics-measure

衡量指标