干货！单目6D物体姿态估计中基于几何指导的直接回归网络

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

目前单目6D物体姿态估计中效果比较好的方案是一类间接法，即先利用CNN预测出关键点建立2D-3D对应关系，然后利用PnP/RANSAC算法求解pose。这类方法存在些问题， 例如PnP/RANSAC的计算复杂度较高;不是端到端可训练的，无法得到可微分的pose；对应关系的损失函数不一定能反映真实的pose误差。本文提出一种基于几何指导的单目6D物体姿态直接回归网络，将间接法中的几何特征作为直接回归法中的指导，并且利用几何特征类似图像块的性质，利用一个简单的卷积Patch-PnP模块直接回归pose，在公开的数据集上达到当前最佳的性能。

本期AI Time PhD 直播间，我们有幸请到清华大学自动化系博士生王谷带来报告分享——《单目6D物体姿态估计中基于几何指导的直接回归网络》

清华大学自动化系在读博士生，师从季向阳教授，主要研究方向为6D物体姿态估计。研究成果曾发表于ECCV/ICCV/CVPR/IJCV等（多次入选口头报告），曾获BOP Challenge 2019/2020单赛道冠军。

个人主页: https://wangg12.github.io/

01

 背  景 

（1）基于单张RGB图像的6D物体姿态估计

对于6D物体姿态估计，本文要解决的问题场景是使用相机拍摄到单张RGB图片，给定目标物体的三维模型，估计目标物体在场景中相对于相机的三维旋转和三维平移共6个自由度。应用场景包括机器人操纵、增强现实、自动驾驶等。