[ICCV 2019] 解决位姿估计中遮挡、对称、无纹理物体的方法

Pix2Pose: Pixel-Wise Coordinate Regression of Objects for 6D Pose Estimation

论文地址：pix2pose.pdf
github链接：https://github.com/kirumang/Pix2Pose

简介

       作者主要解决的是遮挡、对称和无纹理问题，提出一种新的位姿估计方法：pix2pose，可以在没有纹理模型的情况下预测每个目标像素的三维坐标，设计了一种自动编码器结构来估计三维坐标和每个像素的期望误差。使用像素级的预测生成2D-3D之间的对应，从而直接使用RANSAC迭代的PnP算法计算位姿。这种方法利用生成对抗训练来精确的重新覆盖被遮挡部分，从而达到对遮挡的鲁棒性。同时提出了一种新的损失函数：transformer loss，引导预测位姿到最接近的对称位姿来处理对称物体。

之前的工作介绍

       虽然深度图能够提供精确的三维像素坐标，但是获得深度图并不容易。大量的位姿估计依赖于物体的纹理三维模型，需要使用三维扫描设备生成模型。然而却不适用于没有纹理三维模型的领域。之前的工作来处理对称物体：在渲染训练图像时限制位姿的范围，或者对于带注释的真实图像，将范围外的位姿转换为范围内的对称位姿。这种方法适用于单轴对称的物体，只需忽略围绕轴的旋转即可。
       然而BB8中指出当仅有有限数量对称位姿时，很难确定视图边界附近的位姿。文中给的例子是：

if a box has an angle of symmetry, π, with respect to an axis and a view limit between 0 and π, the pose at π + α(α≈ 0; α > 0) has to be transformed to a symmetric pose at α even if the detailed appearance is closer to a pose at π.

       如果边界框相对于轴具有对称角π，并且视限在0和π之间，则必须将π+α（α≈0;α> 0）处的位姿转换为α处的对称位姿，即使α足够小，使外观很接近于π位置的位姿。
pix2pose通过隐式估计被遮挡像素的三维坐标，实现鲁棒性。使用无纹理三维模型从RGB图像回归像素级三维坐标。新的损失函数处理有限个模糊视图的对称物体。