地平线Sparse4D论文解析（含论文原文）

0. 摘要

在自动驾驶感知系统中，3D 检测和跟踪是两个基本任务。本文深入研究了这一领域，并在 Sparse4D 框架的基础上进行了扩展。我们引入了两个辅助训练任务（时间实例去噪和质量估计），并提出了解耦注意力机制，以进行结构性改进，从而显著提升了检测性能。此外，我们通过在推理过程中分配实例 ID 的简单方法，将检测器扩展为跟踪器，进一步突出基于查询的算法的优势。在 nuScenes 基准测试上的广泛实验验证了所提出改进的有效性。以 ResNet50 作为骨干网络，我们在 mAP、NDS 和 AMOTA 上分别提升了 3.0%、2.2% 和 7.6%，达到了 46.9%、56.1% 和 49.0%。我们的最佳模型在 nuScenes 测试集上取得了 71.9% 的 NDS 和 67.7% 的 AMOTA。
代码将发布在 github工程链接。
论文免费下载链接

1. 前言

在时序多视角感知研究领域，基于稀疏的算法取得了显著进展 ，其感知性能已达到与基于密集 BEV 的算法相当的水平，同时提供了几个优势：
1) 自由视角转换。这些稀疏方法无需将图像空间转换为 3D 向量空间。
2) 检测头的计算负载恒定，与感知距离和图像分辨率无关。
3) 更容易通过端到端的方式实现下游任务的集成。

在本文研究中，我们选择了基于稀疏的算法 Sparse4Dv2 作为我们改进的基准。该算法的整体结构如图 1 所示。图像编码器将多视角图像转换为多尺度特征图，而解码器模块则利用这些图像特征来优化实例并生成感知结果。

首先，我们观察到与基于密集的方法相比，基于稀疏的方法在收敛上面临更大的挑战，最终影响了它们的最终性能。这一问题在二维检测领域已得到充分研究，主要归因于一对一的正样本匹配。这种匹配方式在训练的初期阶段不稳定，并且与一对多匹配相比，正样本的数量也较少，从而降低了解码器训练的效率。此外，Sparse4D 采用了稀疏特征采样，而不是全局交叉注意力，这进一步阻碍了编码器的收敛，因为正样本稀少。在 Sparse4Dv2 中，引入了密集的深度监督，以部分缓解图像编码器面临的这些收敛问题。本文主要旨在通过关注解码器训练的稳定性来提高模型性能。我们将去噪任务作为辅助监督，并将去噪技术从二维单帧检测扩展到三维时间序列检测。这不仅确保了稳定的正样本匹配，还显著增加了正样本的数量。此外，我们引入了质量估计任务作为辅助监督，这使得输出的置信度评分更加合理，改进了检测结果排名的准确性，并导致更高的评估指标。

此外，我们对 Sparse4D 中的实例自注意力和时间交叉注意力模块进行了结构增强，引入了一种解耦注意力机制，旨在减少计算注意力权重过程中特征干扰。当锚点嵌入和实例特征作为注意力计算的输入时，结果注意力权重中存在异常值。这未能准确反映目标特征之间的相互关联，导致无法聚合正确的特征。通过将加法替换为拼接，我们显著减轻了这一错误现象的发生。这一改进与 Conditional DETR 有相似之处。然而，关键的不同在于我们强调查询之间的注意力，而不是 Conditional DETR 关注查询和图像特征之间的交叉注意力。此外，我们的方法涉及一种不同的编码方法。
最后，为了提升感知系统的端到端能力，我们探索了将3D多目标跟踪任务集成到Sparse4D框架中，从而直接输出目标运动轨迹。与基于检测的跟踪方法不同，我们消除了对数据关联和滤波的需求，将所有跟踪功能整合到检测器中。此外，与现有的联合检测和跟踪方法不同，我们的跟踪器不需要修改训练过程或损失函数。它无需提供真实的ID标注，却能实现预定义的实例到跟踪的回归。我们的跟踪实现最大限度地整合了检测器和跟踪器，不需要修改检测器的训练过程，也无需额外的微调。我们的贡献可以总结如下：

1. 我们提出了Sparse4D-v3，一个强大的3D感知框架，包含三种有效的策略：时间实例去噪、质量估计和解耦注意力。
2. 我们将Sparse4D扩展为一个端到端的跟踪模型。
3. 我们在nuScenes上展示了我们改进的有效性，在检测和跟踪任务中实现了最先进的性能。

2.相关工作

2.1 端到端检测的改进

DETR 利用 Transformer 架构和一对一匹配训练方法，消除了对 NMS 的需求，实现了端到端的目标检测。DETR 促成了一系列后续改进。Deformable DETR将全局注意力机制改为基于参考点的局部注意力，大幅缩小了模型的训练搜索空间，提高了收敛速度。它还降低了注意力计算的复杂性，使得在 DETR 框架内使用高分辨率输入和多尺度特征成为可能。Conditional-DETR引入了条件交叉注意力，将查询中的内容信息和空间信息分开，并通过点积独立计算注意力权重，从而加速了模型的收敛。基于 Conditional-DETR，Anchor-DETR明确初始化参考点，作为锚点。DAB-DETR进一步将边界框维度纳入锚点的初始化和空间查询的编码中。此外，许多方法从训练匹配的角度出发，旨在增强 DETR 的收敛稳定性和检测性能。DN-DETR 在解码器的查询输入中编码添加噪声的真实值，采用去噪任务进行辅助监督。在 DN-DETR 的基础上，DINO 引入了带噪声的负样本，并提出使用混合查询选择进行查询初始化，进一步提升了 DETR 框架的性能。Group-DETR在训练过程中将查询复制成多个组，提供了更多的训练样本。Co-DETR在训练中引入了密集头，发挥了双重作用。它不仅使骨干网络的训练更加全面，还通过使用密集头输出作为查询，增强了解码器的训练。

DETR3D 将可变形注意力机制应用于多视角 3D 检测，实现了端到端的 3D 检测和空间特征融合。PETR 系列 引入了 3D 位置编码，利用全局注意力机制进行直接的多视角特征融合，并进行时间优化。Sparse4D 系列在实例特征解耦、多点特征采样和时间融合等方面增强了 DETR3D，提升了感知性能。

2.2多目标跟踪

大多数多目标跟踪（MOT）方法使用基于检测的跟踪框架。它们依赖于检测器的输出执行后处理任务，如数据关联和轨迹过滤，这导致了一个复杂的管道，并需要调整大量的超参数。这些方法没有充分利用神经网络的能力。为了将跟踪功能直接集成到检测器中，GCNet、TransTrack 和 TrackFormer 利用了 DETR 框架。它们基于跟踪查询实现了检测目标的帧间传输，显著减少了对后处理的依赖。MOTR将跟踪推进到完全端到端的过程。MOTRv3 解决了 MOTR 在检测查询训练中的局限性，从而显著提高了跟踪性能。MUTR3D 将这种基于查询的跟踪框架应用于 3D 多目标跟踪领域。这些端到端跟踪方法具有一些共同特点：

1. 在训练过程中，它们基于跟踪目标进行匹配约束，确保跟踪查询的一致 ID 匹配，并仅对检测查询匹配新目标。
2. 采用高阈值来传递时间特征，仅将高置信度查询传递到下一帧。
   

我们的方法与现有方法有所不同。我们不需要修改检测器的训练或推理策略，也不需要跟踪 ID 的真实标签。
网络结构和推理流程上图所示，与Sparse4Dv2 的结构相似。在本节中，我们将首先介绍两个辅助任务：时间实例去噪（第3.1节）和质量估计（第3.2节）。接着，我们展示对注意力模块的一项简单增强，称为解耦注意力（第3.3节）。最后，我们概述如何利用Sparse4D实现3D多目标跟踪（第3.4节）。

未完待续~~~