【深度学习：视频注释】5 个重要的视频注释功能

本文翻译转载自：5 Important Video Annotation Features

‍标记和注释图像很容易。视频注释则不然。太多平台专注于图像注释，将视频作为附加功能套件，而不是为注释者实现视频原生工具。

‍在这篇文章中，我们概述了最大化视频注释投资回报率和效率所需的 5 个功能，以便您可以选择适合您需求的视频注释工具。

图像与视频注释

视频注释与图像注释不同。您需要一套完全不同的（专业的、以视频为中心的）工具和功能来处理视频。

否则，数据和视频分析师团队会同时使用多个注释平台（这种情况比您想象的更常见）来实现他们的目标。

作为需要视频注释和标签解决方案的组织内的领导者或经理，您必须确保该平台能够有效处理视频和图像注释的特殊性。

例如，在运行时间较长的大型视频中，您需要确保从一帧移动到下一帧的对象的正确坐标与对象首次出现的帧和时间戳对齐。

由于多种原因，其他工具并不总是会发生这种情况，迫使公司丢弃数月的错误标记数据。让我们回顾一下在考虑使用哪种视频注释工具/平台时所需的五个最重要的功能。

5 个基本视频标签软件功能

高级视频处理

视频注释面临着许多挑战，例如可变帧速率、鬼帧、帧同步问题等等。为了避免这些问题并确保您不会损失数天的标记活动，您的视频注释平台需要满足以下两点：

• 视频长度没有限制：大多数视频注释软件都会限制视频的长度，迫使您在开始注释之前将其切成较短的视频。使用最好的视频注释工具，您不会遇到这个问题 - 它们应该能够处理任意长的视频。

• 视频预处理：帧同步问题是视频注释团队非常头疼的问题，其原因有很多，例如用于注释工作的浏览器类型或视频中不同点的可变帧速率。

有效的预处理解决了这些挑战，确保视频正确显示并准备好进行注释。预处理意味着如果视频出现问题（例如，同步帧问题、视频未正确显示、注释与正确的帧不匹配等），您可以避免重新标记所有内容，从而为您的注释团队节省无数时间以及项目开始时的大量预算。

‍易于使用的注释界面‍

易于使用的视频注释和标签界面可确保注释者高效工作。视频标签和注释不应花费数月时间，尤其是在注释长视频时。考虑到这一点，以下是您需要注意的关键功能，以确保您选择的注释工具易于使用：

• 导航：在注释长视频时，一个简单的导航工具非常重要。注释者需要能够快速找到单个对象，来回移动，并使用标签来跟踪特定对象在帧之间移动时的情况。

• 高效的手动注释工作：凭借直观的界面，注释者无需花费数周时间来了解该软件。默认情况下应该很容易使用。热键和其他功能使手动注释工作变得更加容易。当注释者不必花费数月时间进行手动视频标记时，组织可以从节省大量时间、资源和预算中受益。

• 强大的注释工具：如果您拥有正确的注释类型，注释就会变得容易得多。视频标注工具应具备的主要功能有：

• 边界框：绘制边界框是对视频中的对象进行标记或分类的一种方法。它是视频注释过程中不可或缺的一部分。使用最好的注释工具，您应该能够在要标记的对象周围绘制一个框。例如，设计智慧城市的城市规划者在分析城市地区周围的交通运动时，可以在视频中标记移动的汽车和车辆。强大而有效的注释工具应该可以轻松地在帧与帧之间维护相同的边界框，从而跟踪运动中的多个对象。

• 多边形是另一种注释类型，您可以徒手绘制。添加相关标签并使多边形静态或动态，具体取决于注释的对象。在标记医学图像中的细胞或肿瘤时，静态多边形注释非常有用。

• 多段线同样有用，特别是当您标记本身静态但在帧之间移动的物体（例如道路、铁路线或水道）时。

• 关键点勾勒或精确定位特定形状（例如人脸）的地标。关键点注释在无数形状中用途广泛且有用。一旦您突出显示了特定对象的轮廓，就可以逐帧跟踪它，从而使基于人工智能的系统或在视频或一系列图像的其余部分中对同一对象进行手动注释变得更加容易。

• 基元，也称为骨架模板，对于模板化形状（例如，3D 长方体、姿势估计骨架、旋转边界框等）的专门注释非常有用。注释团队可以使用基元或骨架模板来勾画对象的轮廓，使他们能够从一帧到下一帧跟踪对象。基元在医学视频注释中特别有用。

• 对象跟踪是一种简单而强大的标记特定对象的方法，为它提供一个唯一的 ID，您可以使用它在整个视频中跟踪它。已标记物体的像素与下一个帧中的像素相匹配，从而允许自动跟踪移动物体（例如汽车或跑步的人）。

Encord 视频注释部分的导航功能

‍动态和基于事件的分类

出色的视频注释工具的另一个重要功能是能够对帧和事件进行分类。这为您的模型提供了额外的数据来工作 - 无论是视频中的夜间还是标记对象当时正在做什么。

动态分类通常称为动作或“基于事件”的分类。线索就在名称中——它们告诉你物体正在做什么——你正在跟踪的汽车是否在特定数量的帧内从左向右转向；因此这些分类是动态的。这取决于视频中发生的情况以及您需要标记的细节的粒度级别。动态或基于事件的分类是最好的视频注释平台附带的强大功能，无论最初用于标记运动对象的注释类型如何，您都可以使用它们。

‍框架分类与特定对象分类不同。您无需对对象进行标记或分类，而是使用注释工具来组织视频中的特定帧。热键和视频标签菜单可以让您轻松选择帧的开始和结束，然后在注释时为该帧添加标签。帧分类用于突出显示帧本身中发生的事情 - 例如，无论是白天还是晚上，下雨还是晴天。

自动对象跟踪、插值和人工智能辅助标记

注释是一项耗时、手动、数据密集型的任务。尤其是当视频较长、复杂或有数百个视频需要注释时。解决方案是自动化视频注释。

自动化利用注释团队的技能。它节省了时间和金钱，同时提高了注释工作的效率和质量。

微模型是“针对特定任务或特定数据进行过度训练的特定注释模型”。 Encord 的视频注释工具是唯一使用微模型方法的工具，它非常适合引导自动化视频注释项目。微模型的特别之处在于它们不需要大量数据。恰恰相反;您可以在几分钟内训练微型模型。一旦您标记了视频中要跟踪的对象或特定事物、人物或动作，强大的人工智能生成算法就会完成剩下的工作。主动学习通常是微模型的最佳方法，因为算法可能需要几次迭代才能正确。拥有大型视频注释项目的组织发现微模型给他们带来了巨大的优势。

自动对象跟踪是在进行视频注释时标记特定对象的能力的演变。当使用较旧或功能较弱的软件时，这可能具有挑战性。但是，当您使用附带专有算法且不使用表征模型运行的软件时，您将在实现自动对象跟踪时节省时间。

当正确的软件附带考虑到实际用例而设计的线性插值算法时，插值可以自动实现。只需以任意方向（例如，顺时针、逆时针等）绘制对象顶点，算法仍然会在同一对象从一帧移动到下一帧时跟踪该对象。

自动对象分割是指将对象划分为多个区域或一系列像素，而对这些区域/像素的形状没有任何限制。

例如，如果注释者在特定对象（例如正在分析的细胞簇）周围绘制了标签边界，则自动对象分割的目标是收紧边缘，使其更紧密地贴合所讨论的图像。算法还可以在整个视频中自动跟踪该图像。

在 Encord 中使用插值进行自动标记的示例

注释团队和项目管理

庞大的注释团队很难管理。无论您是机器学习主管还是数据运营主管，您都必须兼顾团队管理、预算、运营时间表和项目输出。

项目负责人需要了解正在发生的事情、正在处理的事情和正在分析的事情。您需要实时清楚地了解项目的状态，以便在发生任何变化时能够快速做出反应。

当大预算和长期的注释项目正在进行时，利用外部注释团队来实现项目的劳动密集型方面通常很有用。

但与外部提供商合作需要先进的团队和项目管理功能，例如：

• 当视频数据保密时，例如医疗视频注释，访问控制至关重要。作为项目负责人，您需要针对谁有权访问特定数据资产制定明确的规则和限制，尤其是当这可能违反欧洲的 GDPR 或美国的医疗保健数据安全立法（例如 HIPAA）时。
• ‍绩效仪表板，让项目负责人实时了解视频注释项目进度。绩效仪表板需要精细化。为您提供每个注释者、审阅者和注释对象的概述（例如，花费的时间、注释质量/拒绝率以及有效管理流程和项目输出所需的详细信息）。在更高的层面上，您需要知道已完成的注释总数（与项目总数相比，以便您可以跟踪进度）以及哪种注释，以及许多其他详细信息。

Encord 中的用户管理