多视几何010：三角化

SFM的过程

(1) 特征提取(Feature Extraction):
$$对每一张像片作特征提取$$

(2) 特征匹配(Matching):
$$对每一对像片作初始特征匹配，若有n张像片就要做C_n^2次$$

(3) 几何验证(Geometric Verification):
$$对每一对像片通过对极几何估计F,并用RANSAC(随机采样一致性)剔除错误匹配。$$
(4) 对极几何估计初始化位姿变换:
$$然后我们由2D-2D对应关系用对极几何(相对定向)估计初始化两帧的位姿变换。$$

    //                          |0 -1  0|
    // E = U Sigma V'   let W = |1  0  0|
    //                          |0  0  1|
    // 得到4个解 E = [R|t]
    // R1 = UWV' R2 = UW'V' t1 = U3 t2 = -U3
————————————————
版权声明：本文为CSDN博主「嚣张的叉烧包」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43828675/article/details/113884075

$E=R^T\ast T_{\times }\Rightarrow 奇异值分解R,T$
$找出特征跟踪最多的且基线距离适中的两帧(基线太短面临纯旋转问题，太长面临共同特征太少的问题)。$
$这两帧间的基线长会被定位单位距离，这也表明增量式系统是尺度未知的(因为我们不知道初始化基线长度的真值)，故我们最后还需要做一个类似于绝对定向的操作来赋予系统正确的尺度。$

(5) 三角化(Triangulation):
$$用初始化的两帧重建出第一批3D点。$$

(6) 光束法平差(Bundle Adjustment):
$$\begin{gathered} 对初始化两帧的相机外参(有时也可加入内参),已三角化的3D点做联合优化，最小化重投影误差平方和。 \\ BA过后，相机参数和3D点坐标得到了更新。 \end{gathered}$$

(7) 粗差滤除(Outlier Filtering):
$$\begin{gathered} 根据BA之后的重投影误差统计，滤除部分平差后重投影误差过大的点。 \\ 或者在平差过程中，根据选权迭代的思想，给这些重投影误差过大的点赋比较小的权重(类似于鲁棒核函数)。 \end{gathered}$$

三角化（）

$拍照的逆向过程：K+R,T+两张图像\Rightarrow X$
添加链接描述
$$Z_{camera}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& & u_0\\ & \frac{1}{dy}& v_0\\ & & 1\end{array}\right]\left[\begin{array}{cccc}f& & & 0\\ & f& & 0\\ & & 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ \stackrel{\rightharpoonup }{0}& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

$$\lambda \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K[R|t]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

$$\lambda u=PX$$
$$\begin{gathered} u^{\wedge }\lambda u=u^{\wedge }PX \\ 0=u^{\wedge }PX（包含两个关系） \end{gathered}$$

这里可以使用SVD求解，齐次坐标X即为 H 的最小奇异值的奇异向量。