EarlyBird：用于BEV中环视跟踪的前融合新方案！

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

>>点击进入→自动驾驶之心【目标跟踪】技术交流群

论文作者 | 汽车人

编辑 | 自动驾驶之心

EarlyBird：用于BEV中多视图跟踪的早期融合

“

原标题：EarlyBird: Early-Fusion for Multi-View Tracking in the Bird’s Eye View

论文链接：https://arxiv.org/pdf/2310.13350.pdf

代码链接：https://github.com/tteepe/EarlyBird

作者单位：慕尼黑工业大学

”

论文思路：

多视图融合有望克服多目标检测和跟踪中的遮挡和漏检问题。多视图检测和3D目标检测的最新方法通过将所有视图投影到地平面并在鸟瞰图（BEV）中执行检测来实现巨大的性能飞跃。本文研究 BEV 中的跟踪是否也可以为多目标多camera (MTMC) 跟踪带来下一个性能突破。目前的多视图跟踪方法大多在每个视图下进行检测和跟踪，并使用基于图的方法来执行跨每个视图的行人关联。这种空间关联已经通过检测BEV中的每个行人一次来解决，只留下时间关联的问题。对于时间关联，本文展示了如何为每次检测学习强 Re-Identification（re-ID）特征。实验结果表明，BEV中的早期融合算法具有较高的检测和跟踪精度。EarlyBird 的性能优于最先进的方法，并将 Wildtrack 上当前最先进的方法提高了 +4.6 MOTA 和 +5.6 IDF1。

主要贡献：

本文在鸟瞰图中引入了早期融合跟踪，并采用了简单但强大的re-ID关联策略。

本文为BEV特征引入了更强大的解码器架构，从而改善了本文的跟踪结果和检测。

在本文的实验中，本文定性和定量地验证了本文的方法相对于最近相关方法的有效性，并通过 +4.6 MOTA 和 +5.6 IDF1 提高了 Wildtrack 跟踪的SOTA。

网络设计：

虽然早期融合已被证明是更强的检测方法，但多视图跟踪仍然使用后期融合方法进行 [8,20]：首先获取2D检测。其次，每个时间步长的检测是关联的，最后，跨时间步长的检测是关联的。其他方法 [18, 29] 切换顺序并首先在一个视图内进行关联，然后在视图中匹配这些轨迹。无论顺序如何，该跟踪管道中的任何阶段都会受到前一阶段引入的不准确性的影响，即，之后需要在关联阶段补偿丢失的 2D 检测。本文的方法结合了前两个步骤，并直接在基于最新多视图检测器的 BEV 中执行检测 [21]。对于跟踪，本文采用 FairMOT [46] 引入的想法，并同时为 BEV 空间中的每个检测学习 Re- Identification（re-ID）特征。这种方法允许本文跳过空间关联的第一步，因为本文学习的检测器已经解决了这个问题。时域中的关联首先使用基于外观的 re-ID 特征执行，然后使用卡尔曼滤波器 [24] 作为基于运动的模型。本文将这种架构称为 EarlyBird。它是一种在线、端到端、可训练的跟踪架构，可大幅提高跟踪的SOTA。

图1.本文的方法概述。所有的输入图像被编码，然后投影到地平面。聚合减少了BEV特征，本文检测行人并预测用于跟踪的re-ID特征。

图2.本文的方法概述。对输入视图进行编码，并将生成的camera特征投影到地平面。投影的特征之后被堆叠和聚合以产生BEV特征。对于图像特征，预测 框中心(box centers) 以指导BEV中的占用检测。此外，本文还训练了一个由camera特征和BEV特征引导的re-ID特征。然后使用检测及其对应的re-ID特征将检测关联到轨迹片段中。

实验结果：

引用：

Teepe, T., Wolters, P., Gilg, J., Herzog, F., & Rigoll, G. (2023). EarlyBird: Early-Fusion for Multi-View Tracking in the Bird's Eye View. ArXiv. /abs/2310.13350

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！