SLAM论文速递【SLAM——使用直接图像对齐和光度束调整的3D多目标跟踪】—4.05（4）

论文信息

题目：

DirectTracker: 3D Multi-Object Tracking Using Direct Image  Alignment and Photometric Bundle Adjustment
DirectTracker:使用直接图像对齐和光度束调整的3D多目标跟踪

论文地址：

   https://arxiv.org/pdf/2209.14965.pdf 

发表期刊：

2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

标签

直接法、目标跟踪

摘要

摘要直接法在视觉测程和SLAM应用中表现出了优异的性能。在这项工作中，我们建议利用它们的有效性来完成3D多目标跟踪任务。为此，我们提出了DirectTracker，这是一个有效地结合了用于短期跟踪的直接图像对齐和用于3D物体检测的滑动窗口光度束调整的框架。对象建议基于稀疏滑动窗口点云进行估计，并使用基于优化的成本函数进一步优化，该函数仔细结合3D和2D线索，以确保图像和世界空间的一致性。我们建议使用最近引入的高阶跟踪精度(HOTA)度量和广义交叉联合模拟奇异性度量来评估3D跟踪，以减轻传统使用交叉联合评估基于视觉的跟踪器的局限性。我们对Car类的KITTI跟踪基准进行了评估，并在2D和3D跟踪对象方面显示了具有竞争力的性能。

内容简介

我们提出了DirectTracker，这是一个简单而有效的框架，它利用直接VO管道[9]的构建块来完成3D对象检测和跟踪任务。值得注意的是，我们不处理视觉里程计任务，也不根据世界坐标系估计相机姿势。相反，我们计算物体在其局部坐标框架中的运动(跟踪)，并通过计算相对于相机坐标系的相应3D变换来本地化它(检测)。在这个公式中，我们独立地处理每个对象，从而使整个框架高度可并行化

在本文中，我们提出了DirectTracker，一种在线MOT方法，利用直接图像对齐和光度束调整来完成3D目标检测和跟踪任务。我们建议用GIoU代替限制性IoU作为相似度度量，这样可以公平地评估基于立体的跟踪器的性能。通过我们的实验，我们展示了我们的方法在KITTI基准上的竞争性能，与其他检测跟踪方法相比。我们的消融研究展示了每个组件对最终3D和2D跟踪精度的影响。我们希望我们的方法揭示了直接方法在多目标跟踪范围内的作用，并将促进这一方向的进一步研究。特别是，在不同的数据集(例如argoverse 2[42])上评估我们的方法是一个有趣的探索方向，这仍然是未来工作的一部分。此外，我们的方法可以通过结合更复杂的三维物体检测初始化方法(例如QuickHull算法[43])来扩展到支持6自由度的物体运动，该方法不依赖于点在地平面上的投影，直接在3D中工作，并将滚摇和俯仰参数纳入优化阶段。一个合适的基准将充分补充这种扩展。

评价

们做出了以下贡献:1)我们提出了一种新的online1 MOT方法，有效地检测和跟踪3D汽车;2)我们提出了改变3D MOT任务的评估协议，基于最近引入的HOTA指标，通过集成3D GIoU作为其相似性度量，从而公平地评估基于立体的跟踪方法的性能;3)我们对3D跟踪进行了广泛的评估，并在KITTI跟踪基准[13]上显示了具有竞争力的结果。