Deep Many Task,同时进行车辆检测,部件定位,可视化特征描述及3D维度估计。基于coarse-to-fine的目标proposal结构提升检测性能。Deep MANTA可以定位不可见的车辆部位。
应用
3D车辆定位和方向估计可用于估计车辆速度和方向。
论文第一个贡献是使用车辆特征点编码3D车辆信息,车辆是刚性的,可通过回归的方法预测隐藏的部分。结合3D数据集,将3D点投影到2D图像中的车辆上,选取最佳的3D模型。
第二个贡献是Deep Many-Task CNN,网络输出2Dbbox,part visibility及3D车辆模板。
第三个贡献是使用3D模型(几何信息,可视性)生成真实图像的标记。
Deep MANTA
首先,输入图像经过Deep MANTA输出2Dbbox,车辆几何特征(车辆部件坐标、3D模板相似度)及part可视性属性。然后,inference阶段使用Deep MANTA的输出和3D车辆数据集复原3D方向和位置。
3D形状及模板数据集
3D数据集包含几种类型车辆的3D模型(Sedan,SUV),对每个3D模型m,标记N个顶点(3D块)。这些块对应相应的车辆区域。使用坐标点集 S3dm=(p1,p2,...,pN) 表示3D形状,其中 pk=xk,yk,zk 表示kth部分的3D坐标。3D模型的3D模板定义为 t3Dm=(wm,hm,lm) 。3D数据库示意图如下所示:
2D/3D车辆模型
模型如下表示: (B,B3d,S,S3d,V)
其中,B是2D的车辆bbox, B3d=(cx,cy,cz,θ,t) 是3D bbox。S是2D部件坐标, S3d 是车辆3D 部件坐标。V={v_k}是part visibility向量,可视性分四类:(1)部件可见,(2)部件被遮挡,(3)部件被自身遮挡,(4)被截断。2D/3D模型示例如下图:
Deep MANTA 网络
coarse-to-fine forward.
给定输入图像,网络使用RPN返回K个proposals B1 ,提取特征并使用ROI池化到固定尺寸,提取的区域进行前向传播并使用offset变换矫正,得到第二个目标proposal集合 B2 ,重复该过程一次得到最终的bbox B3 。三层矫正过程如下图所示:
Many-task prediction.
Deep MANTA输出最终的bbox集,对于每个box,MANTA网络同时返回所有的2D 车辆part坐标,part visibility及3D模板相似度T。模板相似度 rm=(rx,ry,rz) 对应将3D模板与真实模板拟合的三个尺度因子。- Deep MANTA Inference
第一步,Deep MANTA的输出与3D数据库中模板求相似度
第二步,使用3D形状 S3dc 进行2D/3D匹配,3D形状与2D形状匹配。
第三步,输出3D bbox坐标和3D part坐标。
Deep MANTA 训练
三层矫正,最小化五个损失函数:
Lrpn,Ldet,Lparts,Lvis,Ltemp
全局损失函数:
L=L1+L2+L3
其中,