PNP问题-位姿估计方法梳理（pose estimation）

tags:
- 单目视觉
- 位姿测量

目标3D精确模型已知（建立2D-3D对应关系）：

点特征

• P3P问题

  • 基于针孔成像模型

    • Gao的方法（opencv emgucv）

    • Kneip 的 P3P 算法

    • 直接线性变换 （DLT）

    • EP3P（王平）

  • 通用相机模型 （GID）

    • 用在基于鱼眼镜头的测量，基于全向视觉传感器的测量

    • GID 模型解决问题的复杂度通常会较高，而测量精度却较低。

• PNP问题

  • 迭代优化求解策略

    • 当前算法研究

      • SoftPOSIT算法

      • 正交迭代算法（LHM 或 OI），LHM 方法是最为优秀的迭代求解 PnP 问题的方法

      • 基于 Levenberg-Marquardt 迭代求解的方法

    • 优缺点

      • 迭代法相比于线性求解的方法，求解精度和稳定性都要高很多。

      • 迭代法不是闭式解，还有陷入局部最 优的危险，这将导致最终得到的结果不是真实所求的位姿值

      • 迭代法对初值的选取比较敏感

      • 空间参考点比较少或者参考点近似奇异的情况下，迭代法的精度和稳定性都表现较差

  • 非迭代求解策略

    • 基本原理

      • 通过对成像模型合理参数化和变形， 构建可以用于最优化求解的非线性方程组，然后通过矩阵合成的技术（Gröbner 基的方法）求解非线性方程组，最终得到完整的位姿参数闭合解。

    • 当前算法研究

      • 2013年提出的ASPnP 方法和 OPnP 方法（目前最优秀的）

        • 采用四元数来表示旋 转矩阵，通过旋转矩阵参数化来表示平移向量，得到可以全局优化的目标函数来构成多项式方 程组，最后通过矩阵合成技术（Gröbner 基的方法）来求解多项式方程组，得到最终的位姿值。

      • 2015年提出的optDLS方法

        • 通过对 OPnP 方法中的 优化目标函数添加新的约束条件，减少了 OPnP 算法求解过程中解的个数

    • 优缺点

      • 抗干扰能力差

      • 位姿求解精度差

• 依赖目标点纹理信息，易受纹理、光照、噪声等影响

线特征

• P3L问题

• PNL问题

  • 线性求解方法

    • 直接最小二乘位姿求解

    • 构建局部坐标系，求解局部坐标系与相机坐标系之间等变换关系

  • 非线性优化求解方法

    • 先迭代求解旋转矩阵，再求解平移矩阵

    • 引入同名点及高程平面约束

边缘轮廓特征

• 对边缘轮廓离散采样，沿采样点法向方向搜索匹配带，求解位姿参数

• RAPID算法改进方向

  • 多特征融合

  • 稳健估计

  • 贝叶斯估计

    • 卡尔曼滤波

      • 适合于噪声满足高斯分布假设

    • 粒子滤波

      • 适合于目标作非线性运动且为非高斯随机过程多情况

• 视觉伺服相关方法

2D特征描述

• 基本思路：基于虚拟离散位姿参数，目标不同侧面等，将针对3D目标的位姿求解问题转换为若干2D图像之间的匹配问题，进而采用2D特征描述建立对应

• 基于HOG特征的DPM方法

• 采用MCMC采样方法对位姿参数进一步求精

深度学习

• 方向1:将学习得到的2D深度特征描述用于离散位姿参数后的2D图像之间的匹配

• 方向2:构建卷积神经网络，直接通过2D图像信息预测控制点图像坐标，进而建立2D-3D控制点对应，实现位姿参数求解

目标3D模型未知：

1.利用序列图像（或立体视觉）对目标进行重建，依据重建目标模型，采用绝对定向方法求解位姿参数，并利用光束平差方法对结果进行优化

2.转化为SLAM问题进行考虑

基于深度学习的位姿测量方法：

基于稀疏特征的方法

• 从图像中提取兴趣点，用局部描述子来描述这些兴趣点，并匹配到数据库

• 对纹理较少的物体识别较为困难

基于稠密特征的方法

• 粒子滤波+回归森林获取位姿：遮挡情况下获取位姿

• 运动参数+回归森林获取位姿：自由度运动参数估计

• 边缘化深度图像的权重，只利用彩色获取位姿

基于模版匹配的方法

• 用固定的模版扫描图片，寻找最佳的匹配

• 通过卷积神经网络学习整张图片的描述子