0. 摘要
在自动驾驶感知系统中,3D 检测和跟踪是两个基本任务。本文深入研究了这一领域,并在 Sparse4D 框架的基础上进行了扩展。我们引入了两个辅助训练任务(时间实例去噪和质量估计),并提出了解耦注意力机制,以进行结构性改进,从而显著提升了检测性能。此外,我们通过在推理过程中分配实例 ID 的简单方法,将检测器扩展为跟踪器,进一步突出基于查询的算法的优势。在 nuScenes 基准测试上的广泛实验验证了所提出改进的有效性。以 ResNet50 作为骨干网络,我们在 mAP、NDS 和 AMOTA 上分别提升了 3.0%、2.2% 和 7.6%,达到了 46.9%、56.1% 和 49.0%。我们的最佳模型在 nuScenes 测试集上取得了 71.9% 的 NDS 和 67.7% 的 AMOTA。
代码将发布在 github工程链接。
论文免费下载链接
1. 前言
在时序多视角感知研究领域,基于稀疏的算法取得了显著进展 ,其感知性能已达到与基于密集 BEV 的算法相当的水平,同时提供了几个优势:
1) 自由视角转换。这些稀疏方法无需将图像空间转换为 3D 向量空间。
2) 检测头的计算负载恒定,与感知距离和图像分辨率无关。
3) 更容易通过端到端的方式实现下游任务的集成。
在本文研究中,我们选择了基于稀疏的算法 Sparse4Dv2 作为我们改进的基准。该算法的整体结构如图 1 所示。图像编码器将多视角图像转换为多尺度特征图,而解码器模块则利用这些图像特征来优化实例并生成感知结果。
首先,我们观察到与基于密集的方法相比,基于稀疏的方法在收敛上面临更大的挑战,最终影响了它们的最终性能。这一问题在二维检测领域已得到充分研究,主要归因于一对一的正样本匹配。这种匹配方式在训练的初期阶段不稳定,并且与一对多匹配相比,正样本的数量也较少,从而降低了解码器训练的效率。此外,Sparse4D 采用了稀疏特征采样,而不是全局交叉注意力,这进一步阻碍了编码器的收敛,因为正样本稀少。在 Sparse4Dv2 中,引入了密集的深度监督,以部分缓解图像编码器面临的这些收敛问题。本文主要旨在通过关注解码器训练的稳定性来提高模型性能。我们将去噪任务作为辅助监督,并将去噪技术从二维单帧检测扩展到三维时间序列检测。这不仅确保了稳定的正样本匹配,还显著增加了正样本的数量。此外,我们引入了质量估计任务作为辅助监督,这使得输出的置信度评分更加合理,改进了检测结果排名的准确性,并导致更高的评估指标。
此外,我们对 Sparse4D 中的实例自注意力和时间交叉注意力模块进行了结构增强,引入了一种解耦注意力机制,旨在减少计算注意力权重过程中特征干扰。当锚点嵌入和实例特征作为注意力计算的输入时,结果注意力权重中存在异常值。这未能准确反映目标特征之间的相互关联,导致无法聚合正确的特征。通过将加法替换为拼接,我们显著减轻了这一错误现象的发生。这一改进与 Conditional DETR 有相似之处。然而,关键的不同在于我们强调查询之间的注意力,而不是 Conditional DETR 关注查询和图像特征之间的交叉注意力。此外,我们的方法涉及一种不同的编码方法。
最后,为了提升感知系统的端到端能力,我们探索了将3D多目标跟踪任务集成到Sparse4D框架中,从而直接输出目标运动轨迹。与基于检测的跟踪方法不同,我们消除了对数据关联和滤波的需求,将所有跟踪功能整合到检测器中。此外,与现有的联合检测和跟踪方法不同,我们的跟踪器不需要修改训练过程或损失函数。它无需提供真实的ID标注,却能实现预定义的实例到跟踪的回归。我们的跟踪实现最大限度地整合了检测器和跟踪器,不需要修改检测器的训练过程,也无需额外的微调。我们的贡献可以总结如下:
- 我们提出了Sparse4D-v3,一个强大的3D感知框架,包含三种有效的策略:时间实例去噪、质量估计和解耦注意力。
- 我们将Sparse4D扩展为一个端到端的跟踪模型。
- 我们在nuScenes上展示了我们改进的有效性,在检测和跟踪任务中实现了最先进的性能。
2.相关工作
2.1 端到端检测的改进
DETR 利用 Transformer 架构和一对一匹配训练方法,消除了对 NMS 的需求,实现了端到端的目标检测。DETR 促成了一系列后续改进。Deformable DETR将全局注意力机制改为基于参考点的局部注意力,大幅缩小了模型的训练搜索空间,提高了收敛速度。它还降低了注意力计算的复杂性,使得在 DETR 框架内使用高分辨率输入和多尺度特征成为可能。Conditional-DETR引入了条件交叉注意力,将查询中的内容信息和空间信息分开,并通过点积独立计算注意力权重,从而加速了模型的收敛。基于 Conditional-DETR,Anchor-DETR明确初始化参考点,作为锚点。DAB-DETR进一步将边界框维度纳入锚点的初始化和空间查询的编码中。此外,许多方法从训练匹配的角度出发,旨在增强 DETR 的收敛稳定性和检测性能。DN-DETR 在解码器的查询输入中编码添加噪声的真实值,采用去噪任务进行辅助监督。在 DN-DETR 的基础上,DINO 引入了带噪声的负样本,并提出使用混合查询选择进行查询初始化,进一步提升了 DETR 框架的性能。Group-DETR在训练过程中将查询复制成多个组,提供了更多的训练样本。Co-DETR在训练中引入了密集头,发挥了双重作用。它不仅使骨干网络的训练更加全面,还通过使用密集头输出作为查询,增强了解码器的训练。
DETR3D 将可变形注意力机制应用于多视角 3D 检测,实现了端到端的 3D 检测和空间特征融合。PETR 系列 引入了 3D 位置编码,利用全局注意力机制进行直接的多视角特征融合,并进行时间优化。Sparse4D 系列在实例特征解耦、多点特征采样和时间融合等方面增强了 DETR3D,提升了感知性能。
2.2多目标跟踪
大多数多目标跟踪(MOT)方法使用基于检测的跟踪框架。它们依赖于检测器的输出执行后处理任务,如数据关联和轨迹过滤,这导致了一个复杂的管道,并需要调整大量的超参数。这些方法没有充分利用神经网络的能力。为了将跟踪功能直接集成到检测器中,GCNet、TransTrack 和 TrackFormer 利用了 DETR 框架。它们基于跟踪查询实现了检测目标的帧间传输,显著减少了对后处理的依赖。MOTR将跟踪推进到完全端到端的过程。MOTRv3 解决了 MOTR 在检测查询训练中的局限性,从而显著提高了跟踪性能。MUTR3D 将这种基于查询的跟踪框架应用于 3D 多目标跟踪领域。这些端到端跟踪方法具有一些共同特点:
- 在训练过程中,它们基于跟踪目标进行匹配约束,确保跟踪查询的一致 ID 匹配,并仅对检测查询匹配新目标。
- 采用高阈值来传递时间特征,仅将高置信度查询传递到下一帧。
我们的方法与现有方法有所不同。我们不需要修改检测器的训练或推理策略,也不需要跟踪 ID 的真实标签。
网络结构和推理流程上图所示,与Sparse4Dv2 的结构相似。在本节中,我们将首先介绍两个辅助任务:时间实例去噪(第3.1节)和质量估计(第3.2节)。接着,我们展示对注意力模块的一项简单增强,称为解耦注意力(第3.3节)。最后,我们概述如何利用Sparse4D实现3D多目标跟踪(第3.4节)。
未完待续~~~