如何分析测试自动化结果

随着测试自动化被引入软件交付过程，可用测试结果的数量呈爆炸式增长。机器人或测试执行代理可以不间断地 24/7 运行，除此之外，每个冲刺期间测试用例的数量都会累积。因此，会产生更多结果以供管理和分析。这需要正确的方法。

如果调查测试结果所花费的时间超过了运行自动化测试所节省的时间，那么自动化就不会提高输出质量，而且不值得付出成本。为了获得自动化的好处，了解如何正确处理不断增长的测试结果至关重要。

以下是有关如何最好地处理和分析自动化生成的测试结果的四个技巧。

1. 设置自动监控
作为软件交付过程的一部分，任何测试团队都已经有大量任务，因此简单地添加另一个监视结果日志的任务并不一定会带来质量改进。

让测试团队不断地自行监控测试结果会带来一些风险，例如：

如何确保定期检查结果？手动监控可能会因日历冲突（例如会议、假期等）而中断。
如果测试用例很少失败，随着时间的推移，监控的必要性就会被认为不那么重要。这种情绪对回归测试非常有害，回归测试的目的就是随时发现不可预见的问题。
相反，请确保用于测试自动化的工具允许在测试团队需要采取行动时设置警报和/或发送消息，例如，当一个或多个测试用例失败时，或者当测试用例的执行时间超过预定义的临界限值。

通过设置这样的自动通知，测试人员可以在需要检查自动化测试用例时做出反应，而不是浪费时间声明没有任何失败。

2. 找出案例失败的原因
显然，如果测试人员花更多时间分析自动化测试用例失败的原因，而不是执行用例，那么自动化就失去了其目的。调查失败的测试用例并查明失败的原因应该很容易并且发生得很快。产品所有者、开发人员和测试人员都需要快速反馈，以尽快发现违规行为。

测试自动化平台应包含以下功能，以帮助测试人员在分析阶段提高工作效率：

运行测试用例的机器的视频记录。这是一个非常强大的工具，因为它允许测试团队准确地看到测试用例运行时发生了什么。
记录功能。这应该包含测试用例的所有输出，按照测试用例执行的逐步顺序。
调试功能。这可能包括逐步演练失败的测试用例以查看值、状态等。这对于确定测试用例失败的原因非常有帮助。在LEAPWORK自动化平台中，调试功能以视频录制的擦洗预览模式的形式出现。
重播功能。将视频录制与日志记录和调试功能相结合可以让您了解全局。有了这些见解，即使测试人员对测试用例不太了解，也可以对其进行调试并快速得出结论。
3. 分享结果
Quality Center、Jira 和 TFS 等发布平台可用于管理测试和处理错误。它们在测试团队中广泛用作跟踪错误、测试策略、测试用例描述等的工具。

引入测试自动化可能不会改变这些平台作为集体测试工作中心的事实。这就是为什么您应该通过将结果推送到测试管理系统或使用 API 从测试自动化平台提取结果来集成测试自动化平台。

4. 使用仪表板查看结果
快速、透明的反馈是 DevOps 的基石。这使得开发团队能够快速对问题做出反应，并在错误发布到生产环境之前修复它们。

在团队内部和团队之间共享结果的有效方法是在团队工作区的共享监视器上使用可视化仪表板。例如，显示测试环境中回归测试的最新结果的简单图形表示将使团队清楚地了解被测软件的当前质量。

LEAPWORK自动化平台的仪表板示例：
概括
设置自动监控以确保测试人员最有效地利用时间。
通过利用测试自动化平台的日志记录、调试和审查功能找出测试用例失败的原因。
通过推送或拉取测试结果与您的发布管理平台集成。
通过实时测试结果的共享仪表板确保快速、透明的反馈。