《可用性测试手册（第2版）》一2.2 方法论基础

本节书摘来自异步社区《可用性测试手册（第2版）》一书中的第2章，第2.2节，作者【美】Jeffrey Rubin（鲁宾） , Dana Chisnell（切斯尼尔），更多章节内容可以访问云栖社区“异步社区”公众号查看

2.2 方法论基础

实施可用性测试的基本方法论起源于经典控制实验的方法。正规的研究方法是形成特定的假设，然后在可控的情况下分离变量进行测试。透过推理统计方法仔细检验因果关系来验证或推翻假设。真正的实验设计需要符合以下几个要求。

• 必须提出假设。你期望的假设在实验时是否会发生。比如，“相比于版式B，版式A中的帮助设计更能够提升用户的速度和降低错误率”。假设越具体越好。
• 实验环境中的被试者随机选择（采用系统化的方法）。理解目标人群特征，并从中挑选出具有代表性的随机样本。随机抽样很难，尤其是从已有的用户群体中抽样。
• 必须严格控制。实验控制至关重要，否则不论目标是否具有统计意义，其结果的有效性都要画上问号。所有的被试者在测试之前和过程中都应该有相近的经验。
• 必须采用对照组。为了让结果有效，必须采用对照组，测试单一不同变量。
• 用户样本必须足够大，测量组间的差别才具有统计意义。为了使得测量组间差异具有统计学意义，必须采用足够大的样本量。样本量太小可能会导致错误结论。
  前面的方法是实施经典实验的基础，实施基础研究时，这是可选用的方法。然而，这并不是本书重点阐述的方法，原因如下。
• 大部分读者会发现自己的开发环境节奏快、压力大，用这样的方法论实施可用性测试不太可能或不合适。说不太可能是因为有太多组织约束、政策或其他原因。说不合适是因为可用性测试的目的并非必须提出假说和验证假说。换句话说，经典实验的方法是一种研究，并不是为如何提升产品形成有效设计决策。
• 为了正确实施这样的研究，必备的实验方法和数据相关的知识量是相当大的，最好启用有经验的可用性专家或人因工程学专家。没有适当的背景和训练就进行这样严密的研究，得出的结果通常是非常有误导性的，甚至比不做研究的情况还糟糕。
• 在经常做测试的环境中，采用随机分配被试者的原则是很困难的，因为一场测试在这个因素上难以掌控。特别是采用现有用户作为被试者时，这个问题更为凸显。
• 采用非正式方法的另一原因是样本量。针对既定的目标群体，要想达到普适的结果，样本量大小取决于对这一群体信息的了解程度，而这往往是最匮乏的（有时就是影响测试的原因）。由于缺乏对群体信息的了解，为谨慎起见，人们针对每种情况可能采用10～12个被试者，而实际情况是为了确保结果具有数据统计意义，每种情况需要40个或更多的被试者参与。
• 最后也是最重要的，经典方法论是为了获得研究假设的定量证明，比如验证一种设计好过另一种。它不是为了获得定性的结果来指导如何解决问题或重新设计产品。而大部分读者都更关心后者而非前者。
  虽然实验的核心是严谨，我们仍倡导采用非正式的、迭代的方法来测试。正如本书中后续章节会提到，对于任何研究，实验严谨性都至关重要。

在开发周期的早期就开始一系列快速、有针对性的研究，可以达成很多目的。这就是本书提倡实施这种非正式但设计良好的测试，它可以明确产品可用性缺陷是什么、形成原因以及克服的方法。接下来开始介绍这一方法的基础。

2.2.1 可用性测试的基本要素

• 研究问题或测试目标的发展历程，而不是假设。
• 使用最终用户的代表性样本，他们在随机选择时可能不会被选到。
• 选择实际工作中有代表性的场景。
• 观察最终用户使用或审视产品样本。
• 测试主持人要大范围访谈被试者，并控制节奏。
• 收集定性和定量的用户表现与偏好。
• 收集改进产品设计的建议。
  接下来的章节会针对该方法细化“怎么做”。

2.2.2 测试的局限性

现在，关于可用性测试要完成的目的已经描绘了一副美妙的蓝图，接下来要泼一泼冷水。测试并不是实现可用性和产品成功的终结者，也不是开创者，了解它的局限性非常重要。测试并不能保证成功，甚至不能保证一个产品就是好用的。就算是最严谨的正式测试，也不能百分之百确定产品发布时好用。原因如下。

• 测试始终是人为的情景。在实验室测试，甚至在当地测试，其实仍然是使用情景的再现，并非实际情景本身。进行研究这一行为本身就会影响结果。
• 测试结果并不能证明产品有用。就算进行具有统计意义的测试，仍然无法证明产品有用。具有统计意义只能说明衡量一个结果的出现不是偶然。测试并不是一个保证，而且也非常依赖于测试如何进行。
• 被试者并不能全权代表目标群体。被试者只能代表你对目标受众理解和分类的能力。市场研究并不是一个可靠的学科，真正的最终用户很难被识别和描述。
• 测试并不总是最佳方法。正如第1章和第13章讲的，评估和改进产品的方法很多。例如，相对于测试产品而言，采用专家式评估或启发式评估，不论是成本、时间还是准确性方面，都格外有效。
  然而，就算有这些限制，在产品开发周期中，若能在恰当的时间，出于恰当的原因，作为以用户为中心的设计方法的一部分，小心且精细地实施可用性测试是解决潜在问题的无可指摘的指南。它大大降低了发布不稳定或不易学的产品的风险。几乎在所有的案例中：有测试总比没有好，这也是本书的基本主题。

下一章涵盖了实施4种类型测试的基础知识，并提供了在一个开发周期中采用4种测试方法的假设案例。