点击下方卡片,关注“自动驾驶之心”公众号
ADAS巨卷干货,即可获取
论文作者 | 汽车人
编辑 | 自动驾驶之心
EarlyBird:用于BEV中多视图跟踪的早期融合
“原标题:EarlyBird: Early-Fusion for Multi-View Tracking in the Bird’s Eye View
论文链接:https://arxiv.org/pdf/2310.13350.pdf
代码链接:https://github.com/tteepe/EarlyBird
作者单位:慕尼黑工业大学
”
![f05bce9a828423332884c3079d4ebdb1.png](https://i-blog.csdnimg.cn/blog_migrate/545e78e7151d5df20d12106d05db1b16.png)
论文思路:
多视图融合有望克服多目标检测和跟踪中的遮挡和漏检问题。多视图检测和3D目标检测的最新方法通过将所有视图投影到地平面并在鸟瞰图(BEV)中执行检测来实现巨大的性能飞跃。本文研究 BEV 中的跟踪是否也可以为多目标多camera (MTMC) 跟踪带来下一个性能突破。目前的多视图跟踪方法大多在每个视图下进行检测和跟踪,并使用基于图的方法来执行跨每个视图的行人关联。这种空间关联已经通过检测BEV中的每个行人一次来解决,只留下时间关联的问题。对于时间关联,本文展示了如何为每次检测学习强 Re-Identification(re-ID)特征。实验结果表明,BEV中的早期融合算法具有较高的检测和跟踪精度。EarlyBird 的性能优于最先进的方法,并将 Wildtrack 上当前最先进的方法提高了 +4.6 MOTA 和 +5.6 IDF1。
主要贡献:
本文在鸟瞰图中引入了早期融合跟踪,并采用了简单但强大的re-ID关联策略。
本文为BEV特征引入了更强大的解码器架构,从而改善了本文的跟踪结果和检测。
在本文的实验中,本文定性和定量地验证了本文的方法相对于最近相关方法的有效性,并通过 +4.6 MOTA 和 +5.6 IDF1 提高了 Wildtrack 跟踪的SOTA。
网络设计:
虽然早期融合已被证明是更强的检测方法,但多视图跟踪仍然使用后期融合方法进行 [8,20]:首先获取2D检测。其次,每个时间步长的检测是关联的,最后,跨时间步长的检测是关联的。其他方法 [18, 29] 切换顺序并首先在一个视图内进行关联,然后在视图中匹配这些轨迹。无论顺序如何,该跟踪管道中的任何阶段都会受到前一阶段引入的不准确性的影响,即,之后需要在关联阶段补偿丢失的 2D 检测。本文的方法结合了前两个步骤,并直接在基于最新多视图检测器的 BEV 中执行检测 [21]。对于跟踪,本文采用 FairMOT [46] 引入的想法,并同时为 BEV 空间中的每个检测学习 Re- Identification(re-ID)特征。这种方法允许本文跳过空间关联的第一步,因为本文学习的检测器已经解决了这个问题。时域中的关联首先使用基于外观的 re-ID 特征执行,然后使用卡尔曼滤波器 [24] 作为基于运动的模型。本文将这种架构称为 EarlyBird。它是一种在线、端到端、可训练的跟踪架构,可大幅提高跟踪的SOTA。
![90e5def64c94e2da75e2710c1e7ee6c3.png](https://i-blog.csdnimg.cn/blog_migrate/093b380f8653c9675686cb6cc7a71fa6.png)
图1.本文的方法概述。所有的输入图像被编码,然后投影到地平面。聚合减少了BEV特征,本文检测行人并预测用于跟踪的re-ID特征。
![70cfc017b24bbe0e24bcdd6240c3948d.png](https://i-blog.csdnimg.cn/blog_migrate/669dc59597742bbc80a8b4978e05be4c.png)
图2.本文的方法概述。对输入视图进行编码,并将生成的camera特征投影到地平面。投影的特征之后被堆叠和聚合以产生BEV特征。对于图像特征,预测 框中心(box centers) 以指导BEV中的占用检测。此外,本文还训练了一个由camera特征和BEV特征引导的re-ID特征。然后使用检测及其对应的re-ID特征将检测关联到轨迹片段中。
实验结果:
![831d3c9aedfdd96478cb6389f62efa52.png](https://i-blog.csdnimg.cn/blog_migrate/1249a55a68272cafb42c30ca2a1c5775.png)
![f5dec845a0bf004ccaa7af015c25857d.png](https://i-blog.csdnimg.cn/blog_migrate/3f77b21ea94b86f5b50542a662f8cc9e.png)
![db35242e4882f7cf0d91c69d3fbd407c.png](https://i-blog.csdnimg.cn/blog_migrate/19c658369299414027440f968dc674e9.png)
![9399fc692ef92794f8c49ce14bbed6c5.png](https://i-blog.csdnimg.cn/blog_migrate/29c311b1d4d22ccd07377b547adc76bf.png)
![42a8b10c72057acd8f74b33e94c94a45.png](https://i-blog.csdnimg.cn/blog_migrate/85e6d73eb6ba4a4221effe75392d8d60.png)
引用:
Teepe, T., Wolters, P., Gilg, J., Herzog, F., & Rigoll, G. (2023). EarlyBird: Early-Fusion for Multi-View Tracking in the Bird's Eye View. ArXiv. /abs/2310.13350
① 全网独家视频课程
BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频(扫码即可学习)
![750279da3dbf77f078acaa39279a2a0e.png](https://i-blog.csdnimg.cn/blog_migrate/cdf3378d87735562f9c620ad4b19e444.png)
② 国内首个自动驾驶学习社区
近2000人的交流社区,涉及30+自动驾驶技术栈学习路线,想要了解更多自动驾驶感知(2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计)、自动驾驶定位建图(SLAM、高精地图、局部在线地图)、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频,期待交流!
![08f1decb826ab3217d790510e78d1964.png](https://i-blog.csdnimg.cn/blog_migrate/f3100b808b050dc175d47b76d0c94df1.png)
③【自动驾驶之心】技术交流群
自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群,备注:学校/公司+方向+昵称(快速入群方式)
④【自动驾驶之心】平台矩阵,欢迎联系我们!