相机位姿整理笔记

相机位姿

相机位姿估计是指给定若干图像，估计其相机运动的问题。求解方法通常分为特征点法和直接法。

1、特征点法

特征点法的思路是先从图像当中提取许多特征，然后在图像间进行特征匹配，这样就得到许多匹配好的点，再根据这些点进行相机位姿的求解。根据传感器形式的不同，可以分成三种情况：
（1）2D-2D：单目相机获取的图像，只能获取像素坐标
（2）3D-3D配对点: RGBD图像或双目相机，可以获取深度信息
（3）3D-2D：已知一张图中的3D信息，另一张图只有2D信息

从问题的角度分析：
在两帧各自的相机坐标系中，设P点的相机坐标系的坐标分别为P1、P2，如图1所示。

其中 ，
P1=(X1 Y1 Z1),P2=(X2 Y2 Z2)
相机从第一帧移动到第二帧，其旋转矩阵设为R，平移向量设为t。这里的R表示的旋转是相对于第一帧的姿态改变量。那么有:
P2=RP1+t
相机位姿估计的最终目的就是要根据这个运动方程，求解出相机的运动，也就是R、t。注意这里的R、t并不是相机外参！

由于P1、P2的坐标未知，但其在像素坐标系的坐标p1、p2已知，因此，根据小孔成像模型寻找p1、p2和P1、P2之间的关系。

2、小孔成像模型

小孔成像模型的示意图如图2所示。设P点在世界坐标系下坐标为Pw，在相机坐标系下坐标为Pc，物理成像平面对应坐标为 P′, 像素平面对应坐标为p, 有：

p=(u v),P‘=(X‘ Y‘ Z‘),Pc=(Xc Yc Zc),Pw=(Xw Yw Zw)

根据小孔成像模型，有如下公式：

该公式给出了点P相机坐标系下坐标与像素平面坐标之间的关系。

其余解释详细见

相机位姿入门