【深度学习：数据注释工具】构建与购买：从业者的经验教训

本文翻译转载自：Data Annotation Tooling: Build vs. Buy: Lessons from Practitioners

直到最近几年，任何想要扩展数据注释、机器学习 （ML）、计算机视觉 （CV） 和其他基于人工智能 （AI） 的项目的组织都必须构建自己的数据注释和标记工具。

如果做不到这一点，请使用内部工具和开源注释软件的组合来尝试实现计算机视觉项目。

现在，技术领导者有各种现成的数据标记、注释和主动学习平台可供选择。无论您是早期或成长期初创公司的首席技术官，还是大型组织的人工智能主管、计算机视觉主管或数据运营主管，这个市场都有很多选择。

然而，这个问题仍然是技术和机器学习领导者思考的问题：“我们应该构建还是购买注释工具？“

本文旨在通过数据标注团队负责人和从业者的见解来回答这个问题。

为什么数据注释团队需要标记工具？

即使是现在，尽管我们拥有各种技术优势，但对图像或基于视频的数据集进行注释和标记是任何计算机视觉项目中非常耗时的部分。

数据注释标签的质量和准确性至关重要。低质量的标记数据可能会给机器学习团队带来巨大的问题。

提高标记数据质量和准确性的最佳和最快的方法之一是使用人工智能（AI 辅助）标记工具。人工智能解决方案可以节省时间和金钱。

现在问题来了，“我们可以构建自己的解决方案还是获得开箱即用的解决方案？

让我们看看数据标注领导者和从业者怎么说…

您的软件工程团队是否有时间/资源来构建数据注释解决方案？

构建内部解决方案既费时又昂贵。这可能需要 9 到 18 个月的时间，花费 6 到 7 位数的内部资源，并接管了几名工程师的工作日程。

正如一位体育分析 Encord 客户发现的那样（在他们找到我们之前），“用于数据注释的内部工具和界面存在局限性：构建和完善需要几个月的时间，结果是一个单一用途的工具。

“当他们需要新功能时，内部工程师花了几个月的时间来重新设计和重新配置该工具。另一方面，“Encord 可以在几分钟内构建一个新的本体。花费数月时间为每个特定的注释任务构建内部工具并不是一个可行、可持续或可扩展的策略。

该客户证实，内部资源最好花在其他地方：“在使用 Encord 之前，ML 团队不得不采取安全路线，因为追求失败的新想法的成本很高。有了多用途、经济高效的注释工具，他们现在可以迭代想法，并在开发新产品和功能时更具冒险精神。

为您的项目构建数据注释工具需要多长时间？

建立一个内部注释工具可能需要几个月的时间。这取决于

• 您需要注释的图像或视频数据集的体积；
• 平台所需的功能；
• 将使用该平台的注释者人数、
• 作为人工智能或数据运营的领导者，您有时间将此解决方案推向市场，以便开始使用它为图像和视频添加注释（在开始训练数据模型之* 前）；
• 该工具的可扩展性如何？未来还有哪些项目需要它？

考虑到这一点，工程团队就可以开始估算项目构建时间。如果预算充足，还可以估算请第三方软件开发公司完成项目的外包成本。

无论哪种方式，都需要花费数月的时间，需要大量的资金预算，还需要一名项目负责人来监督。项目完成后，您需要熟悉注释软件的内部开发人员来修复错误、维护它，并实施任何升级和所需的新特性/功能。

将开发外包给第三方会更有意义吗？

在某些情况下，将开发外包给低成本地区，如中欧和东欧（CEE），可能比内部建设成本更低。特别是当您比较这些地区的工程师和数据科学家与具有相同技能的美国或西欧专业人员的成本时。

然而，挑战与内部构建相似。该项目仍需管理。准备就绪后，内部团队必须负责、调试、维护工具并实施新特性和功能。

购买数据注释工具的优势

许多组织没有走内部或外包构建路线，而是在财务和时间上做出购买开箱即用的解决方案，例如 Encord。

土耳其卫生部放射科医生 Hamza Guzel 博士解释了使用 Encord 进行医学图像数据注释的优势。

Guzel 博士还与 Floy 合作，这是一家医疗 AI 公司，开发技术，帮助放射科医生检测病变，帮助他们准备用于训练机器学习模型的医学成像数据。

Floy 在其他现成的商业解决方案中遇到了许多问题，并且由于涉及时间和成本而没有考虑构建一个。因此，解决方案是切换到 Encord 进行 CT 和 MRI 注释和标记。

“在 Encord 中，组织问题不是问题，借助 Encord 的手绘注释工具，我们可以随心所欲地标记数据。我们可以减少边界上点之间的距离，以毫米级工作，我们需要精确标记病变和其他物体。标记也是一种流畅的体验——在图像上绘图并从一个图像切片移动到另一个图像切片非常容易。

“速度也很快。直到我们切换到 Encord，我才意识到其他平台的速度有多慢，或者标签的速度有多快。

“使用 Encord，我们将 CT 系列的标记时间缩短了 50%，将 MRI 系列的标记时间缩短了 25%。”

总之：我应该构建还是购买数据注释工具？

根据您的数据注释需求，以下是最好的开箱即用解决方案具有的五个功能，例如 Encord。

如果所有这些功能听起来都很熟悉（从那时起我们引入了更多功能，例如 Encord Active 和 Annotator Training Module），您必须问问自己，我们是否有内部时间/资源来构建类似的东西？

或者，避免资本支出和项目管理难题，只需购买现成的数据注释解决方案会更容易吗？

从各个方面来看，购买数据注释工具都是：

• 远比建造便宜
• 耗时更少（您可以在几分钟内完成设置，而不是几个月）
• 机器学习和计算机视觉模型生产准备速度显著加快
• 更灵活（功能更好，包括 API 和 SDK）

正如 G2 的一篇评论所说：“Encord 帮助我们简化了数据管道，并将我们的训练数据集中在一个地方。我们已经设法使用灵活的 API 构建了相当无缝的集成。

“我们还在报告中使用了一些可定制的仪表板和报告，这是一个加分项。用户界面易于导航，对象检测注释工具（边界框等）的功能非常广泛，因为我们可以定义平台支持的丰富本体。Benjamin 是一家使用 Encord 的中端市场公司的数据科学家。

另一篇评论说：“Encord 的 DICOM 标注解决方案正在解决为医疗 AI 构建训练数据集的低效且耗时的图像标注和工作流程管理问题。通过简化这些流程，它为我们的团队节省了大量时间，并提高了我们的整体生产力。

“此外，质量控制功能确保所有图像都具有最高质量，让放射科医生和我们的ML研究团队高枕无忧，该团队已帮助通过FDA批准。总的来说，这个产品使我们的注释工作更加高效和有条理，使我们的团队受益匪浅。Thomas，临床机器学习工程师。

‍在 Encord，我们的计算机视觉主动学习平台被广泛的行业（包括医疗保健、制造、公用事业和智能城市）使用，以注释人体姿势估计视频并加速其计算机视觉模型的开发。