本文同步于微信公众号:3D视觉前沿,欢迎大家关注。
背景
该论文发表于2018年CVPR,解决的问题是:给定单幅RGB图像,估计图像中包含目标物体的6DoF位姿;6DoF位姿包括了3维位置和3维空间朝向;传统方法包括以下两种:基于RGB图像的方法,或者使用edge特征,但对复杂背景敏感,或者使用feature points,但无法处理弱纹理或者无纹理情况;基于RGB-D的方法,依赖传感器,本身有一定限制。近年来深度学习的方法,可以给6DoF位姿估计,带来极大的效果提升。
算法概述
该论文设计了一个端到端可训练的网络,实时预测物体的6DoF位姿;受到2D物体检测算法YOLO的启发设计CNN网络,预测物体3D包围盒顶点的2D投影点;YOLO只预测出2D包围盒,而该论文预测更多的2D投影点;之后给定这些2D投影点对应的3D点,可以通过PnP算法估计物体的6DoF位姿。
算法框架
首先将每个物体的3D模型用9个控制点表示,分别是外切包围盒的8个顶点以及3D模型的重心,这样训练时只需要知道物体的3D包围盒,而不需要确切的网格模型以及附带的纹理图;算法输入为一个单幅完整的彩色图像,如图1(b);使用图1(a)的卷积网络将图像划分成SxS的Cell,如图1 ( c ) (c) (c);网络的输出结果图1(d)用SxSxD的张量表示,如图1(e),D的维度为(9x2+C+1),分别包含了9个2D投影点坐标 ( x i , y i ) (x_i, y_i) (xi,yi),C个类别概率,以及一个置信值。如果某一个Cell的置信值较低,则删除该Cell。
置信函数设计:
依据图像空间的2D欧氏距离,计算预测的2D投影点和真值点的平均偏差。
令 D T ( x ) D_T(x) DT(x)代表估计的2D位置和真值位置之间的欧氏距离,则置信函数 c ( x ) c(x) c(x)和 D T ( x ) D_T(x) D