论文：Deep MANTA

Abstract:

提出 Deep Many-Tasks 方法来对一个图片进行多任务车辆分析，包括车辆检测，部分定位，可见性描述和 3D维度估计

1.Introduction

为了获得周围车辆的速度和方向，3D 车辆定位和方向的预测十分重要。为了很好的交通理解，对周围车辆的描述也很重要，例如车大灯的定位可以帮助确定车辆的方向，车辆部件可视性有助于整体场景的解释。我们提出了一个方法来从单个 image 得到 vehicle detection , vehicle part localization , vehicle part visibility , fine orientation , 3D localization , 3D template( 3D dimension).下图 1 为网络的输出

我们的主要贡献包括三个方面：

1. 使用图像车辆的特征点来编码 3D 车辆信息。因为车辆具有已知的形状，可以用单目图像重构 3D 车辆信息。我们的方法还可以在车辆部件被遮挡，截断等情况下定位到车辆部件，使用回归的方法而不是 part detector. 预测 hidden parts 的位置对 3D 信息的恢复很有帮助。我们使用一个 3D vehicle 数据集，由具有真实维度的 3D meshes 组成，即具有 3D 框的数据集。每一个 3D model 都有一些顶点，对应于车轮等部件，对每一个 model 来说，这些顶点组成了一个 3D shape. 这个方法的主要思想是在 input image 中恢复这些 3D points 的映射。2D/3D matching 在 2D shape 和选择的 3D shape进行，以恢复车辆的方向和 3D location. 
2. Deep Coarse-to-fine Many-Task 网络。首先使用 RPN 网络产生 corase 2D bounding box，之后迭代产生精细化 bounding box. 六个任务共享特征向量：region proposal , detection , 2D box regression , part location , part visibility , 3D template prediction.
3. 使用 3D models 来生成 image 的标签

2.Related work

1. 2D Object detection and coarse pose estimation. 使用 RPN 网络，但是增加了几步 2D bounding box refinement 来改善目标检测的结果。2D ob