TMM-2023-多无人机多目标追踪

---------------------------多无人机多目标追踪------------------------------《Robust Multi-Drone Multi-Target Tracking to Resolve Target Occlusion: A Benchmark》 in IEEE Transactions on Multimedia

1 引言

多无人机多目标追踪是协同环境感知领域重要的研究方向，其目的是实现多视角信息融合，克服单架无人机在环境感知上的不足，从而在实现跨机目标关联的基础上，实现多目标的协同追踪，提升整体追踪性能。然而现有多视角多目标追踪数据集很少有遮挡标签和视角重叠，导致协同追踪领域发展受限。为此，我们收集了一个富有遮挡属性标签的双机多目标追踪数据集，命名为MDMT。为了解决多无人机多目标追踪任务中跨机目标关联问题，我们从不同视角下目标拓扑图的相似性出发，构建不同视角间透视变换矩阵，进而利用变换矩阵进行目标匹配与遮挡补充，解决单机目标缺失、遮挡、ID变换等问题。大量实验证明了该方法的有效性。

2 研究动机

首先，为了促进协同环境感知领域的发展，克服多机协同环境感知任务中数据集缺失的问题，本工作收集了一个具有遮挡属性标签的双机多目标追踪数据集，命名为MDMT。

其次，在目标遮挡相关问题上，现有多目标追踪算法通过帧间连续性进行目标预测，并没有从根本上解决单视角环境感知受限的问题。在处理目标关联问题时，多采用目标重识别的方式计算目标特征相似性，并使用优化算法进行目标关联。当传统方法用在无人机数据集上时，检测性能降低、目标遮挡严重等问题愈加严重，不同视角下相同实例特征相似性甚至大于实例间特征相似性，导致目标重识别算法匹配效率低下。为了解决遮挡和跨机目标关联的问题，我们从不同视角下目标拓扑图的相似性出发，通过目标映射实现跨机目标关联，进而补充单机中遮挡目标，减少目标缺失、ID变换等问题，从整体上提升目标追踪性能。

3 数据集介绍

为了攻克多无人机多目标追踪任务中目标跨机关联和目标遮挡等关键挑战，我们收集了一个具有遮挡属性标签的双机多目标追踪数据集，名为MDMT。它包含88个视频序列，有39,678帧，包括11,454个不同ID的人、自行车和汽车。

MDMT包括2,204,620个人工标定边界框，其中543,444个边界框具有遮挡属性。

图1：MDMT数据集样例

图2：MDMT与传统相关数据集比较

4 方法介绍

我们为多无人机多目标跟踪任务提出了MIA-Net，其中的局部-全局匹配算法发掘不同无人机间目标分布的拓扑关系，有效解决跨机关联问题，并利用多无人机视角映射的方法有效地进行跨机关联和遮挡补充。方法的整体结构如图3所示：

图 3：MIA-Net主要包括单机多目标追踪模块、匹配模块以及目标ID分配模块

匹配方法

我们实用全局匹配和局部匹配两种匹配策略获得视角间变换矩阵，第一帧通过手工初始化或者全局匹配的方式得到匹配点，通过匹配点计算旋转矩阵T：

目标ID分配策略

通过得到的变换矩阵，我们对新目标、非重合区域目标、未匹配目标进行分类处理，详细设计各个类别目标ID分配策略，实现双机共同目标ID对应，实现协同追踪：

图 4：双机视角下ID分配策略，蓝色为跨机匹配后的ID更新

5 实验结果

5.1 评测标准

首先我们采用MOTA和iDF1作为追踪性能评测标准。

其次，为了评测算法跨视角目标关联性能，我们设计了一个多设备目标关联得分（MDA， Multi-Device Association score），统计追踪过程中共同目标跨机匹配情况。

5.2 评测结果

在MDMT数据集上的大量实验验证了我们提出的MIA-Net在目标关联和有遮挡多目标跟踪任务上的有效性。相较于单机追踪算法，MIA-Net (Autoassign+Bytetrack)在追踪指标iDF1上有2.68%的提升。

数据和代码链接：https://github.com/VisDrone/Multi-Drone-Multi-Object-Detection-and-Tracking