SFM算法总结

SFM算法总结

DLT(直接线性变换法)

是一种可以解线性最小二乘问题的方法，用在求基础矩阵，本质矩阵以及三角化，PnP等地方。

RANSCA(随机一致性采样)

可以用于去除粗差。一般线性最小二乘问题之前。

SVD分解

奇异值分解，DLT算法得核心，即求齐次线性方程组（非方阵，存在多余观测）得解。求解ATA的最小奇异值对应的解向量即为最优解(最小二乘解)

QR分解

即正交三角分解。顾名思义，就是将方阵分解为上三角矩阵和正定矩阵。在P矩阵中[KR,Kt]
KR方阵使用QR分解分解出上三角矩阵K和正交矩阵R

估计两相机之间的F矩阵

描述

两相机之间存在对几约束的关系，即像素xFx = 0，像空间点xEx = 0。已知多对匹配点对，求解相机之间的F矩阵。

难点及解决思路：

多对匹配点求解最优模型，将F矩阵看作一个8个自由度的向量组，并成线性方程。求解最优线性方程

方法

Ransca剔除粗差点，再用DLT算法求解最优模型，再根据F矩阵奇异值σ1, σ2,0的约束重构F矩阵(常用的方法是将求得矩阵投影到满足奇异约束得空间中(投影代价最小))。

估计两相机之间的E矩阵

描述

两相机之间存在对几约束的关系，即像素xFx = 0，像空间点xEx = 0。已知多对匹配点对，求解相机之间的E矩阵。

难点及解决思路：

E矩阵有5个自由度，但难以直接求解E矩阵的5个自由度，可以采样8点法，先将E矩阵看作8个自由度，取8对以上的点进行估计。最后根据其奇异值的约束重构E矩阵。

方法

1. 类似于F矩阵
   Ransca剔除粗差点，再用DLT算法求解最优模型，再根据E矩阵奇异值σ, σ,0的约束重构E矩阵。
2. 已知K矩阵的情况
   可以先估计F矩阵，再根据关系E=K2FK1的关系求得E矩阵。

本征矩阵恢复相机姿态

所谓的相对定向

描述

已知两相机之间的本征矩阵，求得两相机之间相对的R和t。
##难点及解决思路
本征矩阵在形式上是E = t×R，×(向量叉乘)，对E矩阵进行SVD分解

方法

对E矩阵进行SVD分解，得到关于t和R的表达式，但t和R分别有两个解，组合起来共有4种搭配的R和t，一匹配点对三角化后的物方点投影到两个相机坐标系的深度都为正的R和t是正确的R,t。

三角化

描述：

已知图像之间的匹配点及其坐标，相机的内外参数，求解匹配点对应的三维坐标。

难点及解决思路：

每张图像的像素点在已知外参的情况下可在世界坐标系形成一条直线（不确定其对应的三维点的具体位置），此时需要使用两对以上的匹配点对联合求解。

方法：

1. 先用ransca剔除粗差(选取两对确定匹配点，反投到第三张影像上，以投影误差作为模型误差)，得到比较好的模型及点对。
2. 再用DLT算法得到最小二乘解。

另外：

一般长基线的匹配点的三角化误差较小(误差椭圆小)，但太长容易匹配不上。

PnP

描述：

所谓的后方交会。
已知n对物方点坐标和其在影像上的点坐标，求解相机的内外参数。

问题及思路

n对物方点和其影像的点需要进行最小二乘得到最优解。直接求得影像外参属于非线性优化问题，这里作了简化，不直接求影像外参数，而是先求P矩阵，再通过QR分解P矩阵得前三列得到R和K，再求t。这样做得好处是：求解P矩阵是一个线性优化问题，避免了进行非线性优化（复杂且需要好初值）

方法：

建立像点和物方点的映射方程，一对物方像方点贡献2个方程，省去尺度，需要11个方程，6对点即可求得P矩阵，所有点对使用DLT算法获得最优解。再根据求得的P矩阵分解出KR并计算出t。

另外

完成同一任务的方法有P3P和ePnP

非线性优化

非线性优化问题，假设问题导数，使用taylor展开，得到梯度和增量。（梯度和增量都是向量，其点积必须小于0即下降状态）迭代进行，当达到，增量足够小使误差方程最小的的情况即达到了最优。其解为最优解。

最快速下降

增量等于负的梯度的优化算法。当增量与梯度反向时，下降速度最快。(两向量反向，其点积最小)
给定初始点，控制函数ε>0和步长λ。
计算梯度，若梯度小于ε则终止否则迭代。

牛顿法

假设函数二阶可微
泰勒二阶展开
另二阶导数(梯度)乘增量和一阶导数(梯度) 乘增量的和=0来求增量的值，并迭代
速度快，计算复杂度高(海森矩阵)，要求更好的初值。

LM算法

是一种信赖域的方法，当收敛速度快时，增大信赖域，使算法更趋近于牛顿法，当收敛速度慢时，减小信赖域，使算法更趋于最快梯度法。

将海森矩阵替换成雅各比矩阵，即增量正规方程。求解增量正规方程得到增量。

速度快，只用一阶矩阵
对初值要求低一些

BA

描述

同时对三维点位置和相机参数进行非线性优化。已知所有三维点坐标和所有相机参数的初值(前面E矩阵分解和三角化得到的值作为初值)。

问题及思路

所有相机和点参与优化构建的参数空间很大且稀疏的矩阵。
(c1,…cm,X1,…Xn),Ci = (f,k1,k2,R,t)
BA是一个无约束的最小二乘问题
其中增量正规化方程求解增量，以及雅各比矩阵的计算都难点。

方法

LM算法求解

双视角运动结构恢复

1. 特征检查与匹配
2. 初始化
   内参数的获取(exif)
   相机参数的恢复(本质矩阵的分解)
   三维点坐标(三角测量)
3. BA