altium中错误报告类型_众包软件测试服务中的协作支持

引用：Alsayyari M, Alyahya S. Supporting Coordination in Crowdsourced Software Testing Services[C]. service oriented software engineering, 2018: 69-75.

摘要：

众包是具有巨大的机遇和效益的一种新兴现象，它指的是将一项任务外包给互联网群体。众包软件测试(CST)是一种特殊的、有价值的众包服务。它的规模、灵活性、成本效益和快速的周转时间是基于Web的众包测试服务最近受到广泛关注的几个原因。许多软件公司已经开始使用CST来测试他们的应用程序。然而，CST有其自身的挑战和局限性(例如，测试人员的选择困境、测试报告的处理、整体测试质量)。CST活动中协作支持的缺失造成了延误和机会错失，这导致CST可能无法保证最佳的测试结果。本文介绍了目前正在进行的研究，这些研究旨在通过识别当前实践中的协作挑战来支持CST活动中的协作。对15个CST平台进行的定量比较表明，平台缺乏对测试人员、项目管理人员以及客户基于计算机的支持。

关键字：

众包、软件测试、众包软件测试、协作、过程改进、 Web服务

简介

软件开发人员一直为在短时间内、以有效的成本获得最好的测试质量而努力。软件组织有两种测试实施策略：1)拥有一个内部质量部门，包含高成本的员工、设备和维护；2)将质量任务外包给另一个实体，主要是海外的实体。外包可能是昂贵而复杂的，需要签订合同，并且花费大量的时间和精力。这两种策略都受限于一部分测试人员的能力，因此在质量和效率方面是有限的。此外，这两种策略可能都无法提供预期最终用户的愿景和软件预期的清晰视图。

随着互联网商务的发展，软件组织发现了一种新的软件测试方法。在过去的几年中，一种被称为众包软件测试(CST)的测试策略已经成为一种普遍现象。CST的成功来自于其独特的能力，它可以让大量的人力资源参与到不同的设备和网络连接中来以提供有效和成本效益高的软件测试服务。功能测试、移动测试和可用性研究是CST平台提供的最成功的测试服务之一。

众包测试克服了许多旧方法遇到的挑战，例如创建和维护内部测试部门或处理复杂且耗时的外包解决方案的高成本。通过Web2.0技术，与互联网群体合作提供了一个更高效的分布式在线问题解决过程和生产模型。通过这种方式，获得了可扩展的全球员工团队的好处，同时降低了执行成本。

CST的性质决定了它拥有遍布世界各地的测试人员、测试平台和客户。这推动了基于Web的众包测试提供商采用协作技术来支持测试过程并改进其结果。研究表明，CST面临各种挑战，例如测试人员的选择、邀请管理，这些挑战是CST的核心活动。其他问题包括测试结果质量改进，测试人员质量反馈，测试自动化和自动或半自动测试报告评估。团队协作和多样性是众包成功的最重要因素。因此，需要在CST提供协作支助，以克服上述挑战。

本文介绍了一项正在进行的研究，其目的是支持有效管理CST的协作工作。这项研究的重点是识别CST面临的挑战，并提出管理CST活动所需的协作支助，以改进CST的主要过程。

众包软件测试

“众包”一词是由《连线》杂志的编辑Jeff Howe于2006年提出的，用来形容那些利用互联网将工作外包给大众的企业。CST是众包在软件开发领域的应用，它将测试服务外包给大量的自由测试人员。这些测试人员帮助在真实的用户条件下验证软件。CST平台为Web和移动应用程序提供多种测试服务(即功能测试、可用性测试)。此外，CST平台还与其他系统(如客户的跟踪系统，即JIRA)以及测试人员的个人计算机和移动电话合作，收集和输出错误。CST的独特优势(例如，各种实际用户、设备、实际终端用户的反馈)使公司能够快速、廉价地识别缺陷。

许多研究人员一致认为，任何CST系统都有三个主要组成部分:众包搜索者、众包测试人员和众包测试平台。众包搜索者是具有产品测试需求(例如，Web应用程序、智能电话应用程序)的用户(公司)。众包测试人员是在线用户，他们希望利用自己的时间并获得一些好处(例如，财务、提高测试技能、建立声誉)。众包测试平台是一个在线门户，提供测试服务，使任何网络用户都能够成为测试人员，并使产品所有者能够使用快速、廉价、国际化的测试方法测试其产品。

当今的CST网络平台建立了一个CST的商业模式，许多参与者使用并从中受益。第一部分参与者是测试人员，他们是随机的在线用户，对提高他们的测试技能感兴趣，并可能获得一些经济利益。另一部分参与者是项目经理(PM)，测试平台的一名雇员，负责管理人群和项目，并负责构建测试团队。第三部分参与者是测试团队负责人(TTL)，这是一个可选角色，添加了额外的质量控制层。TTL是具有良好测试记录(高分数/等级)的人群中的一员，负责对软件中的错误进行初始评审。最后一部分参与者是负责提交测试项目和审阅测试报告的客户代理。

众包软件测试活动

基于我们对众包软件测试过程的观察，目前CST平台应用了一套管理测试过程及其可交付成果的活动(图1)。测试项目的成功或失败取决于这些活动的应用和遵循情况。

图 1 主要众包测试活动

为了提供对当前平台的全面总结，我们回顾了在线众包测试论坛、手册和视频演示。我们通读了正式的描述。此外，我们还参与了众包测试系统，主要是作为测试人员。下面的列表描述了在呈现新测试项目时的所有CST执行活动。

1．提交项目进行测试

1)客户注册。客户可以通过填写登记表或发送定制服务的联系请求进行注册。

2)商定付款计划。客户机可以从一组预定义的测试包中进行选择，或者与项目经理(PM)协商定制的计划。

3)为客户指派一名项目经理。CST平台协作员根据测试区域的可用性和知识，指派一名匹配的项目经理。

4)提交项目进行测试。客户端上载测试项目，选择适当的生成/环境、项目范围和说明。如果需要，报酬也将被定义。

2．设计测试周期并选择测试人员

1)检查项目以进行测试。分配的PM审查项目测试请求，设计测试周期并设置开始和结束日期。

2)宣布项目。PM可以公布即将进行的项目公告，供所有社区成员查看和标记他们的兴趣。

3)选择测试团队领导。PM使用匹配机制，根据以前的经验、测试领域、测试设备、测试人员的人口统计信息和测试人员的分数来选择团队领导。

4)选择“测试人员”。PM使用基于项目测试需求、先前经验、测试字段、测试设备、测试人员的人口统计和测试人员的分数的匹配机制来手动选择测试人员。另一个选项是CST平台自动选择测试人员。

3．启动测试任务

1)测试人员注册。在线互联网用户将提交一份载有个人信息的简单登记表，然后要求他/她填写载有技术信息的个人资料。

2)邀请测试人员参与。基于测试人员的评估、兴趣、人口统计和技术环境，通过电子邮件发送测试合适项目的邀请。

3)接受/拒绝邀请。众包测试人员可以选择接受或拒绝任何测试项目。

4)审阅项目详细信息。测试人员可以通过测试人员在其测试平台上的仪表板查看完整的项目详细信息(即项目规范、范围、报酬)。

4．提交测试报告

测试人员开始测试，创建新问题/缺陷，填写所有必填字段，附加图像/视频，并提交报告供TTL、PM和客户审阅。

5．验证和确认结果

1)TTL和PM审查并验证测试报告(错误)。然后客户可以确认一种方法。否则，客户可能会检查并确认错误本身。最后一种方法是在PM和TTL检查错误时，客户被授予实时检查错误的权限。

2)测试人员，PM和TTL的反馈。TTL和PM检查提交的错误。如果某个错误报告需要注释(例如，必需的信息)，他们可以添加注释。测试人员将通过电子邮件得到通知，可以更新错误报告并将其反馈/评论留给审阅者。

6．测试人员评估

测试人员由项目经理手动评估，并由众包测试系统自动评估。评估基于提交的错误数量、错误有效性和错误严重性。

7．提交最终测试报告

1)准备测试报告。客户定义已接受和已拒绝的错误。项目经理通过通知测试人员关闭所有挂起的错误来更新测试报告。准备最终测试报告的另一种方法是，在将所有错误传递给客户之前，重现所有错误，对它们进行分类并进行检查。

2)提交最终报告。最终报告包括导出的事件、测试人员反馈、测试总结和建议。报告将提交给客户进行最终审核。

8．支付众包测试服务的费用

测试周期结束且项目结束后，将按照与项目预算相关的项目详细信息中所述处理付款。完成所需测试任务的测试人员将获得约定的金额。

表1展示了15个CST平台及其对CST活动的支持的深入分析。复选框表示CST平台完全支持该活动，空复选框表示平台部分支持该活动。空字段表示平台不支持该活动 。

表 1 众包软件测试平台活动综述

现有众测过程的观察

对Web CST平台的分析揭示了测试人员、平台和客户之间协作的重要性，因为众包是一个协作过程。

1．众包社区服务

大多数CST平台提供了某种类型的测试人员推荐系统来选择合适的测试人员。为了帮助识别有价值的测试人员，大多数平台根据每个测试人员的工作对其进行评估。最后，为了鼓励有效的参与，CST平台根据每个项目的细节，在错误符合支付条件时向测试人员支付金钱奖励。

2．测试平台和测试服务

大多数CST平台提供定制的测试服务，以及可选的预定义测试包。此外，平台为每个测试项目分配一个专用的PM。一些CST平台(例如，uTest)为一些即将推出的平台提供公告吸引感兴趣的测试人员的项目。此外，所有CST平台都使用电子邮件邀请招聘测试人员。功能测试、移动测试和可用性测试是最著名的众包测试类型。

3．测试要求和质量验证

所有CST平台使客户能够选择所需的测试类型，设置测试要求和标准，并定义测试环境、设备和所需的人群统计信息。大多数CST平台提供验证服务。有些提供集成服务，在这些服务中，已批准的错误可以直接导出到客户机的错误跟踪系统(例如JIRA、GitHub)。

协作方面的挑战和局限性

虽然CST在软件开发领域正在取得新的成功，但客户、测试人员和CST平台遇到了许多挑战。

1．缺乏信息通知

有必要在几个领域提高测试人员和客户的信息通知(例如，在发布新公告时，没有通知感兴趣的测试人员)。测试人员必须定期检查CST网站以获取更新。当开始一个新的测试周期时，假设测试人员能够自己访问测试环境，即使他们经常不能很容易地这样做。当测试人员无法自己访问测试环境时，缺少对PM的技术通知可能会导致延迟。此外，非活动的测试人员没有得到适当的处理。它们只是填充了一个没有附加价值的测试槽。

当测试周期处于活动状态时，测试人员可能不知道新的测试项目更新(即，更新的范围)，因为它们仅由PM发布。随着测试周期的继续，测试人员和客户不知道PM何时准备最终测试报告，并且可能继续工作，这可能会浪费时间和精力。此外，由于在确认时缺少客户端的进度通知，PM可能等待相当长的时间来等待客户端对已验证错误的确认。

2．缺乏自动化

PM任务目前是由CST平台进行的手动过程。此过程可能会导致延迟，因为客户端等待分配PM。此外，测试人员的选择过程也面临着三个挑战。第一个挑战是在选择测试人员时可能不考虑测试人员的可用性。第二个挑战是缺乏对新的未评级测试人员的考虑，他们可能根本没有被选中。第三个挑战是不考虑每个测试周期所涉及的测试人员的数量。更具体地说，虽然5个测试人员是一个小数目并且可能不是有效的，但是60个测试人员太多了。这是因为前20个测试人员可能会发现所有必要的错误，而其余的测试人员可能会因为没有可报告的内容而感到沮丧。

此外，考虑“发送测试邀请”过程，发送新邀请的时间可能不考虑测试人员位置的不同时区。因此，一些测试人员可能会在半夜收到邀请，并发现所有的测试时段都被预订了。另一个问题是测试人员不能通过他们的手机直接接受/拒绝邀请，他们必须登录CST平台进行响应。

3．缺乏约束

某些PM可能同时选择相同的测试人员。例如，一个测试人员可能一次收到10个邀请，这可能是压倒性的，并且可能浪费其他资源。

4．缺乏有价值的见解

CST平台存储大量关于测试人员的信息(例如，教育背景、工作状态)。此类信息可能不会在测试人员选择过程中自动使用。以合适的人群为目标(例如，移动教育应用程序应雇用学生作为测试人员)将产生高效且有价值的测试报告，而从不太合适的人群中选择排名较高的测试人员可能无效。因此，客户可能无法获得预期的结果，并且可能不得不根据消费者的反馈在第一个版本发布后立即发布第二个版本的软件。

支持众包软件测试活动所需的协作

这项研究提出了一套协作机制，可以帮助克服目前CST过程的局限性。拟议的机制将支持CST活动的管理，并将促进测试人员、平台和客户工作的协作。通过对现有CST平台的回顾、阅读正式描述、CST论坛、CST参与以及文献综述帮助确定了一系列CST活动，需要对这些活动进行管理和协作，以有效地执行众包测试服务。

为适当协调CST活动，促进测试团队与客户之间的沟通，表2提出了建议的支持活动。所提议的机制可用于任意CST平台。

表 2 CST活动的协作支持

表 2 CST活动的协作支持

结论

CST服务的概念是软件开发行业的一个新兴趋势。CST的主要优势包括广泛的可扩展性、高效的成本、多种自由职业测试人员和快速的周转。本文缩小了关于众包测试过程和当前对协作的支持的研究差距。报告审查了CST目前的活动，并提出了若干协作挑战。

致谢

本文由南京大学软件学院2019级硕士郭楠楠翻译转述