#每天一一篇论文# （225/365）单目3D联合车辆识别和检测

Joint Monocular 3D Vehicle Detection and Tracking

code

摘要

单目摄像机的三维车辆检测和跟踪需要对车辆进行检测和关联，并估计其位置和范围。由于车辆处于恒定运动状态，无法从单个图像中恢复三维位置，因此具有一定的挑战性，本文提出了一种新的联合检测和跟踪三维车辆包围盒的框架。我们的方法利用三维姿态估计来学习二维面片关联超时，并利用跟踪得到的时间信息来获得稳定的三维估计。我们的方法还利用三维盒深度排序和运动将被遮挡对象的轨迹连接在一起。我们在真实的三维虚拟环境中训练我们的系统，收集一个新的多样的、大规模的、密集注释的数据集和精确的三维轨迹注释。我们的实验表明，我们的方法从推断三维数据关联和跟踪稳健性两方面受益，利用我们的动态三维跟踪数据集。

贡献

据我们所知，我们是第一个从单目摄像机处理完整的3D车辆边界框跟踪信息的估计。 我们基于2D外观和预测的3D位置共同跟踪帧的帧，并估计轨道的完整3D信息，包括位置，方向和尺寸。 我们的实验表明，与传统的2D跟踪相比，3D位置可以改善新帧中的预测位置，并且估计整个轨道的3D位置比单帧估计更准确。 履带式车辆的深度顺序构成了降低失配率的重要线索。

方法

整体框架

我们的目标是跟踪物体，并从一个单目视频流中推断其精确的三维位置、方向和尺寸。对于每个图像，我们使用现成的检测器来检测所有候选对象。在目标方案的基础上，采用层次聚合网络对三维信息进行建模，利用当前轨迹的三维估计信息进行时间跟踪，利用三维重投影生成所有轨迹与检测盒之间的相似度度量。我们的方法还应该借助于遮挡感知的数据关联和去驱动匹配来解决遮挡问题。最后，我们使用新匹配的轨迹重新估计物体的三维位置。

深度排列示意图

实验结果