【干货速览】PVN3D: A Deep Point-wise 3D Keypoints Voting Network for 6DoF PoseEstimation

From：CVPR2020

一、核心思想：

        采用最远点采样初始化物体上的keypoints->发生位姿变化后利用深度霍夫投票网络估计keypoints在当前观测下的位置->最小二乘拟合得到位姿。PS:pvn3d的关键点已经通过最远点采样定下来了,即重点在跟踪关键点而不是生成关键点。

二、针对的问题：

• 如何从单张RGBD恢复靠谱的6自由度位姿（instance-level）
• 传统方法在纹理缺失、光照变化、遮挡等情况下失效

三、方法：

• deep Hough voting network提取3d关键点，再用最小二乘估计位姿
• 对于多物体场景，引入语义分割模块，辅助位姿估计
• 系统流程：
  • 输入rgbd，特征提取模块融合其外观特征和几何信息，得到每个点的特征。
  • 把提取的feature给3D关键点检测模块Mk,用来估计每个点对于关键点的偏移量，通过投票机制估计关键点。
    • Mk预测每个观测点到关键点的欧式平移偏移量。
    • 利用观测点和偏移量，给关键点投票。
    • 采用聚类算法获取关键点。
  • 在处理多物体场景时，Ms用来预测每个点的语义标签；Mc预测每个点对于物体中心的偏移量（用于区分不同实例）。
  • 聚类算法用来区分相同标签下的不同实例，同一个实例上的点投票选出此实例的关键点。
  • 最小二乘估计位姿。