车辆检测“Deep MANTA: A Coarse-to-fine Many-Task Network for joint 2D and 3D vehicle analysis from monoc”

Deep Many Task，同时进行车辆检测，部件定位，可视化特征描述及3D维度估计。基于coarse-to-fine的目标proposal结构提升检测性能。Deep MANTA可以定位不可见的车辆部位。

应用
3D车辆定位和方向估计可用于估计车辆速度和方向。

论文第一个贡献是使用车辆特征点编码3D车辆信息，车辆是刚性的，可通过回归的方法预测隐藏的部分。结合3D数据集，将3D点投影到2D图像中的车辆上，选取最佳的3D模型。
第二个贡献是Deep Many-Task CNN，网络输出2Dbbox，part visibility及3D车辆模板。
第三个贡献是使用3D模型（几何信息，可视性）生成真实图像的标记。

Deep MANTA
首先，输入图像经过Deep MANTA输出2Dbbox，车辆几何特征（车辆部件坐标、3D模板相似度）及part可视性属性。然后，inference阶段使用Deep MANTA的输出和3D车辆数据集复原3D方向和位置。

1. 3D形状及模板数据集
   3D数据集包含几种类型车辆的3D模型（Sedan，SUV），对每个3D模型m，标记N个顶点（3D块）。这些块对应相应的车辆区域。使用坐标点集$S_m^{3d}=(p_1,p_2,...,p_N)$表示3D形状，其中$p_k={x_k,y_k,z_k}$表示kth部分的3D坐标。3D模型的3D模板定义为$t_m^{3D}=(w_m,h_m,l_m)$。3D数据库示意图如下所示：
   

2. 2D/3D车辆模型
   模型如下表示：$(B,B^{3d},S,S^{3d},V)$
   其中，B是2D的车辆bbox，$B^{3d}=(c_x,c_y,c_z,\theta,t)$是3D bbox。S是2D部件坐标，$S^{3d}$是车辆3D 部件坐标。V={v_k}是part visibility向量，可视性分四类：（1）部件可见，（2）部件被遮挡，（3）部件被自身遮挡，（4）被截断。2D/3D模型示例如下图：
   

3. Deep MANTA 网络
   coarse-to-fine forward.
   给定输入图像，网络使用RPN返回K个proposals $B_1$，提取特征并使用ROI池化到固定尺寸，提取的区域进行前向传播并使用offset变换矫正，得到第二个目标proposal集合$B_2$，重复该过程一次得到最终的bbox $B_3$。三层矫正过程如下图所示：
   
   Many-task prediction.
   Deep MANTA输出最终的bbox集，对于每个box，MANTA网络同时返回所有的2D 车辆part坐标，part visibility及3D模板相似度T。模板相似度$r_m=(r_x,r_y,r_z)$对应将3D模板与真实模板拟合的三个尺度因子。

4. Deep MANTA Inference
   第一步，Deep MANTA的输出与3D数据库中模板求相似度
   第二步，使用3D形状$S^{3d}_c$进行2D/3D匹配，3D形状与2D形状匹配。
   第三步，输出3D bbox坐标和3D part坐标。

Deep MANTA 训练
三层矫正，最小化五个损失函数：$L_{rpn}，L_{det}，L_{parts},L_{vis},L_temp$
全局损失函数：$L=L^1+L^2+L^3$
其中，