按照正常(线性)求解过程,特征提取-匹配-PnP 即先求相机位姿,再求空间点位置,而非线性优化则是把它们都看成优化变量,放在一起优化。
把相机和三维点放在一起进行优化的问题,统称为Bundle Adjustment(BA)。
过程如下,设空间点Pi=[Xi,Yi,Zi]T;投影坐标ui=[ui,vi]T。(注意这两个值是真值,实际由于观测噪声,以及相机位姿未知,我们无法得到最准确的值)
像素位置与空间点位置关系如下:
si ui=KTPi
由于于相机位姿未知以及观测点的噪声,该等式存在一个误差。因此将所有误差求和,构建最小二乘问题,需求误差最小时候的相机位姿
其中:
误差项的物理含义是,是将 3D 点按照当前估计