集智书童 | TrackMe:一种简单有效的多目标跟踪标注工具！-CSDN博客

本文链接：https://blog.csdn.net/csdn_xmj/article/details/144139965

本文来源公众号“集智书童”，仅用于学术分享，侵权删，干货满满。

物体跟踪，特别是动物跟踪，是因其在理解动物行为和监测方面的益处而受到广泛关注的关键话题。最近最先进的跟踪方法基于深度学习架构进行目标检测、外观特征提取和跟踪关联。

尽管这些方法在跟踪性能方面表现良好，但它们在普通物体（如人类和汽车）上进行训练和评估。要在动物上表现出色，需要创建大量不同类型、多种条件下的数据集。

数据集构建包括数据收集和数据标注。在本工作中，作者更注重后者任务。

特别是，作者对知名的LabelMe工具进行了改造，以便在没有计算机科学深入知识的普通用户帮助下，用较少的努力标注数据。新工具名为TrackMe，继承了前者的简单性、与多种系统的兼容性、最小硬件要求和方便的功能利用。

TrackMe是带有多个物体跟踪标注重要功能的升级版。

https://github.com/UARK-AICV/TrackGUI

1 Introduction

动物追踪是研究动物行为和运动的关键任务，对于促进动物的自然发展以及监测动物福利和生产力的许多好处。动物追踪可以在多种场景（例如户外、室内）和各种类型的设备（如RFID、GPS、UWB和摄像头）下进行。尽管可附加的监控设备已经配备了物体位置和移动信息，但它们无法提供与活动或状况相关的信息。相比之下，摄像头系统可以满足上述要求，但完全依赖于其他技术来推理物体坐标。然而，随着深度学习和多目标跟踪（MOT）方法的进步，这一弱点已经变得不那么重要。近年来，在MOT和GMOT 中的方法主要集中在开发模型上，并在目标检测和物体跟踪方面取得了巨大性能。尽管取得了成功，但这些方法是基于有限的具有相似主题的数据集（如人类和汽车）而建立的，这使得将其扩展到动物领域变得困难。作为数据集的基础，数据收集不再是问题，因为高质量的摄像头和存储设备普及且价格实惠。然而，数据标注仍然需要大量的人力工作。

几款具有吸引力的轨道支持视频标注工具已经被引入。DarkLabel 允许使用目标标签和ID进行边界框标注，支持多种数据格式的保存，并具有多目标框生成的一维插值。DarkLabel 功能简单易用。然而，它只能在 Windows 上运行，源代码不可用。CVAT 和 LabelStudio 是图像和视频标注工具中最好用和最广泛使用的两个工具。虽然 LabelStudio 具有简单的盒式线性插值，但 CVAT 使用目标检测模型预测下一帧的框，然后匹配 ID。CVAT 的缺点是它只能检测和跟踪 COCO 数据集中常见的主体。不规则物体或未训练的动物类型会导致不好的结果。此外，这两个标注工具是为各种图像和视频标注任务设计的，对于新用户来说，设置新项目并习惯标注流程可能很复杂。

在本文中，作者介绍了一种新的视频标注工具，称为TrackMe，主要用于目标跟踪（MOT）。作者的工具是基于LabelMe ，它是一种多用途图像标注工具。选择LabelMe的原因是由于它作为工具开发的几个有利因素。它是一个开源工具，对开发者来说，代码相对简单。代码基于Python，使得软件环境的安装不会复杂，工具可以在任何操作系统上运行。LabelMe的硬件要求微小，计算量也较小。在用户体验方面，LabelMe增加了足够的图像标注功能，其图形界面非常易于使用。TrackMe继承了LabelMe的所有优点，并集成了基本跟踪标注功能，如边界框插值、ID关联和信息修改。LabelMe在连续帧中生成和修改边界框的能力不足。边界框插值可以减少每个帧中单个目标边界框的手动标注，而关联功能可以跟踪多个目标并自动为它们分配ID。如果一个目标的边界框错误，TrackMe可以通过一个函数调整一系列图像。

作者的目标是提供一个新的开源工具，以帮助各种计算机知识水平的用户进行数据集标注。本文中对该工具的详细描述在一定程度上可以指导其他开发者如何通过新的跟踪功能进一步改进该工具。

2 Tracking Tool

LabelMe Annotation Tool

LabelMe [22] 是一款广为人知的标注工具，由于其丰富的标注风格（如多边形、矩形、关键点等），高效性和用户友好的界面和功能而闻名。例如，在目标检测方面，用户在“编辑”菜单中选择“创建矩形”，绘制边界框并输入物体类别。框架标注文件被保存为一个包含基本键（如图像名称、物体信息、标注类型和点）的字典。目前，LabelMe 没有标注关键功能，无法保存或编辑物体ID键。相同类别的目标的边界框用相同的颜色表示，这并不利于视觉上跟踪相邻和移动的物体。“保持先前标注”可能稍微可以接受作为静止物体的跟踪特性，因为它只是将当前帧的框复制到下一帧。在接下来的部分中，作者将讨论如何利用这些特性来优化 TrackMe。

Tracklet Information and Visualization

图1展示了TrackMe工具和红色方框标注了新增的功能。LabelMe包含一个"多边形标签"对话框，显示所有目标标签名称，以及一个"标签列表"对话框，保留不重叠的标签。独特的箱子颜色是根据不重叠的标签分配的。基于此，首先，作者将目标ID字段添加到目标信息中，并创建一个与"多边形标签"相同的编码结构的"多边形IDs"对话框，列出帧中的所有目标ID。不仅提供标签，还为"标签列表"提供目标类别和ID的组合，使单个目标以不同的颜色显示，更容易跟踪。TrackMe还高亮显示点击的目标及其标签和ID信息。在右上角放置一个"导航"对话框，以便用户了解当前帧的位置、视频文件夹中的总帧数、编辑状态和进一步功能的确认按钮。在菜单中引入"Track"功能，包含三个主要的视频标注功能，以下各节将详细讨论2.3、2.4和2.5部分。

Box & ID Interpolation

为了在标注同一目标的连续帧中减少用户的工作量，作者在LabelMe中集成了“Box/ID Interpolation”功能。插值图形界面如图2所示。给定一个缺少目标框的帧序列，用户只需在某些特定帧中展示几个框，插值功能将完成其余部分。作者基于高斯过程回归（GPR）[17]技术构建此功能，因为其在连续数据回归问题上的有效性和灵活性。由于目标运动是非线性的，通过时间，GPR的非参数性质在调整函数自身以适应数据复杂性方面起着关键作用。此外，生成的数据对噪声输入不太敏感，并且很好地符合真实模式。作者使用带有有理二次核的高斯过程回归。输入函数是归一化的帧序号（时间数据），输出是框坐标（中心x，中心y，宽度和高度）。先用选择性 Token 的帧数据训练GPR，然后用其他帧填充缺失的框。训练和预测速度快，且不需要GPU。

在实际应用中，用户输入的信息包括：开始和结束帧号、间隔长度、目标标签和ID。插值仅在开始帧和结束帧之间执行，并生成具有输入标签和ID的框。如果ID为空，生成的框将带有ID为null。间隔值决定了用于框指导的均匀分隔帧。通常情况下，每秒的视频帧数作为间隔值工作良好。间隔数字应设置较小，以在目标在该时间段内具有大量运动时补偿运动误差，或者如果目标的运动可以忽略不计时设置较大。在正常模式下，用户可以在“文件列表”对话框中搜索和编辑任何文件。在插值模式下，TrackMe仅让用户达到所选的标签，从而防止不必要的标注。在这些帧上绘制框后，用户在“导航”对话框中按下“完成”按钮。最终，具有指定标签和ID的框在剩余帧中更新。

ID Association

假设视频中的物体已经带有边界框（不包括ID），那么“跟踪关联”是最适合自动ID分配的特征。这个特征灵感来自于跟踪-检测方法，其中物体最初定位，相邻帧的边界框通过比较空间接近度、运动倾斜和外观特征进行匹配。一些知名的方法包括SORT [4]，ByteTrack [24]，OC-SORT [5]和MOTR [23]。LabelMe将帧标签保存在内部的.json（字典）文件中，具有明确的结构，方便提取和修改信息。预训练的深度学习物体相关检测模型用于预测边界框并为新帧创建标签文件。然后应用关联方法填充ID。在TrackMe中，作者包括了基于YOLO-v8 [12]的边界框训练和预测代码以及基于SORT的框关联。由于作者遵循大多数关联方法共享的输入格式，因此将最先进的方法集成到TrackMe中变得方便。

TrackMe 基于两个关联特征构建，如图3 所示。 "从零开始跟踪" 为第一帧中的物体随机分配 ID，并将其传播到下一帧。如果用户需要手动将 ID 放置在物体上，"带有当前标注的跟踪" 使用当前帧中已分配的 ID 向前传播。这个功能也是纠正错误分配 ID 的一种方式。用户滚动到错误的帧，更正 ID，并选择第二个选项。前几个帧的标注保持不变，后续的帧将按新的 ID 更新。

Box & ID Modification

盒式插值技术和ID分配模型在图像序列中可能有时存在缺陷，但LabelMe仅限于单帧校正。因此，在TrackMe中引入了“Box & ID Modification”功能，具有盒删除、标签和ID调整的能力。如图5所示的特征对话框具有与“Box & ID Interpolation”对话框相似的一些领域，替换间隔编号为新ID值和新标签值，并增加修改模式。同样，用户填写帧范围、盒ID和标签。对于删除功能，不需要填写新的ID或标签值。模式“remove all”会激活盒和ID的删除。模式“swap ID”和“swap label”会替换目标的相应旧信息。TrackMe将遍历选定的帧并只修改相关的盒。