本文详细记录了SLAM中的Structure-from-Motion (SfM) 理论，包括SfM的输入输出、重投影误差、优化目标函数的定义。重点介绍了Bundle Adjustment（BA）的优化对象、线性化重投影误差以及各种优化算法，如Gauss-Newton和Levenberg-Marquardt。此外，还讨论了旋转矩阵的参数化、BA的矩阵稀疏性和边缘化策略，以及增量式和全局初始化BA的区别。文章还涵盖了Rotation Averaging和Translation Averaging的求解方法。
内容链接地址
Structure‐from‐Motion
Structure = 3D点云
Motion = 相机位置和姿态
SFM = 运动中的相机恢复出整个场景
SfM的输入与输出
输入：带有关联特征的图像（特征检测和匹配已经做得很好了）， p i , j = ( u i , j , v i , j ) p_{i,j}=(u_{i,j},v_{i,j}) pi,j=(ui,j,vi,j) ， p i , j p_{i,j} pi,j 表示第 i i i 个点在第 j j j 张图中的坐标。
输出：
1）structure：对于每个特征点 p i p_i pi，它对应的三维世界中的位置 X i X_i Xi。
2）motion：相机的外参 R j R_j Rj， t j t_j tj 以及有可能还有内参矩阵 K j K_j Kj。
目标函数(优化对象)：
最小化重投影误差。
重投影误差（reprojection error）
上面这张图用来说明优化的目标函数（重投影误差）是如何建立的：
将红色的三维空间点 X 1 X_1 X1重投影到上面Camera1，Camera2，Camera3这3个不同的相机位置的图像上，要让着三个位置产生的重投影误差要足够小（投影过来的点和特征检测出来的点足够接近）。
最后将这些投影的误差全部加起来，最后就得到了非线性最小二乘的优化目标 g ( R , T , X ) g(R,T,X) g(R,T,X) 。
优化目标函数如何定义
w i j w_{ij} wij 表示这个三维点 X i X_i Xi 是否在图片中存在。
上面的公式就是一个重投影误差的非线性最小二乘定义。
优化就是要优化上面的公式，得到一个global minimum。
Bundle Adjustment
BA优化的对象与解释
1.优化目标就是 g ( X , R , T ) g(\bold{X,R,T}) g(X,R,T).
2.重投影误差的定义： e i j = P ( X i , R j , t j ) − p i j e_{ij}=P(X_i,R_j,t_j)-p_{ij} eij=P(Xi,R
最低0.47元/天 解锁文章
扫一扫
1036
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
