Bundle adjustment 总结

BA

最小化重投影误差：
$$X=argmin\sum _{i=1}^{N_i}\sum _{j=1}^{N_j}||e_{i,j}(X)||$$
求解方法：
使用LM算法优化求最优解。每一次迭代中的增量求解为：
$$\delta X^{\ast }=argmin||J(X)\delta X+E(X)||+\lambda ||D(X)\delta X||$$
其中需要计算误差矩阵E、雅克比J和海森矩阵D（近似）。

geometric BA

• 基于特征点
• 优化变量：$X=[T_i,...,p_j,...]$。地图点三维坐标$P_j$，相机位姿$T_i$
• LOSS：几何误差
  $$e_{i,j}^g(X)=\pi (T_i,p_j)-q_{i,j}$$
  当前帧三维点$p_j$经两帧间转移矩阵$T_i$投影至对应相机坐标系，经$\pi$投影至像平面，与匹配点$q_{i,j}$求误差。
• 不足：基于特征点，导致图像信息利用不足，并且特征匹配存在误差。

photometric BA

• 直接法，使用所有像素，基于强度图
• 优化变量：$X=[T_i,...,d_j,...]$。逐像素深度$d_j$，相机位姿$T_i$。
• LOSS：光度误差
  $$e_{i,j}^p(X)=I_i(\pi (T_i,d_j{q}_j))-I_j(q_j)$$
  第j帧的像素由其深度值映射到相机坐标系，经两帧间转移矩阵$T_i$投影至帧i的相机坐标系，由$\pi$投影至像平面。两帧由对应像素点的强度图求差值。
• 不足：易受光照、动态等环境影响。对初始化结果要求高。