Deep Many Task,同时进行车辆检测,部件定位,可视化特征描述及3D维度估计。基于coarse-to-fine的目标proposal结构提升检测性能。Deep MANTA可以定位不可见的车辆部位。
应用
3D车辆定位和方向估计可用于估计车辆速度和方向。
论文第一个贡献是使用车辆特征点编码3D车辆信息,车辆是刚性的,可通过回归的方法预测隐藏的部分。结合3D数据集,将3D点投影到2D图像中的车辆上,选取最佳的3D模型。
第二个贡献是Deep Many-Task CNN,网络输出2Dbbox,part visibility及3D车辆模板。
第三个贡献是使用3D模型(几何信息,可视性)生成真实图像的标记。
Deep MANTA
首先,输入图像经过Deep MANTA输出2Dbbox,车辆几何特征(车辆部件坐标、3D模板相似度)及part可视性属性。然后,inference阶段使用Deep MANTA的输出和3D车辆数据集复原3D方向和位置。
3D形状及模板数据集
3D数据集包含几种类型车辆的3D模型(Sedan,SUV),对每个3D模型m,标记N个顶点(3D块)。这些块对应相应的车辆区域。使用坐标点集 S3dm=(p1,p2,...,pN) 表示3D形状,其中 pk=xk,yk,z