基础矩阵F和本质矩阵E

基础矩阵（Fundamental Matrix）F 和本质矩阵（Essential Matrix）E
重新仔细看了高博的十四讲对极几何部分，整理一下思路。
首先是外积的定义，三维向量a和向量b做外积，a^b可以转换为3*3的矩阵与b做内积.
$$\mathbf{a}\times \mathbf{b}=\left[\begin{array}{ccc}\mathbf{i}& \mathbf{j}& \mathbf{k}\\ a_1& a_2& a_3\\ b_1& b_2& b_3\end{array}\right]=\left[\begin{array}{c}{a}_2{b}_3-a_3{b}_2\\ a_3{b}_1-a_1{b}_3\\ a_1{b}_2-a_2{b}_1\end{array}\right]=\left[\begin{array}{ccc}0& -a_3& a_2\\ a_3& 0& -a_1\\ -a_2& a_1& 0\end{array}\right]\mathbf{b}\triangleq {\mathbf{a}}^{\wedge }\mathbf{b}$$
对世界坐标为P的空间点，其在两成像平面坐标为p1，p2，有
$$s_1{\mathbf{p}}_1=\mathbf{K}\mathbf{P},s_2{\mathbf{p}}_2=\mathbf{K}(\mathbf{R}\mathbf{P}+\mathbf{t})$$
齐次坐标下为
$${\mathbf{p}}_1=\mathbf{K}\mathbf{P},{\mathbf{p}}_2=\mathbf{K}(\mathbf{R}\mathbf{P}+\mathbf{t})$$
取
$${\mathbf{x}}_1={\mathbf{K}}^{-1}{\mathbf{p}}_1,{\mathbf{x}}_2={\mathbf{K}}^{-1}{\mathbf{p}}_2$$
于是有
$${\mathbf{x}}_2=\mathbf{R}{\mathbf{x}}_1+\mathbf{t}$$
接下来是整合式子的部分，为了将式子整合成一边为0的乘积形式，首先利用外积，两边同时左乘t^
$${\mathbf{t}}^{\wedge }{\mathbf{x}}_2={\mathbf{t}}^{\wedge }\mathbf{R}{\mathbf{x}}_1$$
再左乘x2的转置
$${\mathbf{x}}_2^T{\mathbf{t}}^{\wedge }{\mathbf{x}}_2={\mathbf{x}}_2^T{\mathbf{t}}^{\wedge }\mathbf{R}{\mathbf{x}}_1$$
t与x2的外积垂直于t和x2，因此其与x2做内积等于0，即等式两边等于0.
$${\mathbf{x}}_2^T{\mathbf{t}}^{\wedge }\mathbf{R}{\mathbf{x}}_1=0$$
代入原式，便得到了对极约束，其几何意义为两相机的中心和点P共面，且包含了相机内参和相机位姿的信息。
$${\mathbf{p}}_2^T{\mathbf{K}}^{-T}{\mathbf{t}}^{\wedge }\mathbf{R}{\mathbf{K}}^{-1}{\mathbf{p}}_1=0$$
便有了本质矩阵E和基础矩阵F的定义：
$$\mathbf{E}={\mathbf{t}}^{\wedge }\mathbf{R}$$
$$\mathbf{F}={\mathbf{K}}^{-T}\mathbf{E}{\mathbf{K}}^{-1}$$

因此，有
$${\mathbf{x}}_2^T\mathbf{E}{\mathbf{x}}_1={\mathbf{p}}_2^T\mathbf{F}{\mathbf{p}}_1=0$$
位姿t与R的内积就可以转换成t转变的33的矩阵与R相乘，结果是一个33的矩阵，也就是本质矩阵E。

至此，相机位姿估计问题可以转变为：
1.根据配对点的像素位置，求出 E 或者 F；
2.根据 E 或者 F，求出 R, t。

在求解本质矩阵E的时候，由于其等式等于0，乘以任意常数仍应等于0，因此本质矩阵E具有尺度不变性，原本3*3应有9个自由度，由于尺度不变性使得8对点即可解出E（若考虑R和t的各三个自由度，只需3+3-1=5对点，但因为非线性的性质，会有一定的麻烦）。

一个3×3的矩阵是本质矩阵的充要条件是它的奇异值中有两个相等而第三个是0。
由于t^是反对称矩阵，根据反对称矩阵的性质，有
$$t^{\wedge }=kUZ{U}^T$$
其中，$$Z=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& 0\end{array}\right]$$
令$$W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]$$
于是有
$$Z=\mathrm{diag}(1,1,0)W$$
E的奇异值分解为$$\mathbf{E}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$$
因为本质矩阵E的奇异值特性，因此Z与∑ W只相差了一个常数的尺度。

因此，在齐次坐标下$$t^{\wedge }=UZ{U}^T\text{ or }{t}^{\wedge }=-UZ{U}^{T}R=UW{V}^T\text{ or }R=U{W}^T{V}^T$$
共四组解，但只有一组解为正。由此便由本质矩阵E解出相机位姿。

在ORB-SLAM3的初始化中，TwoViewReconstruction部分通过TwoViewReconstruction::ComputeF21用直接线性变换方法求解F矩阵，并进行打分，进而估计初始的相机位姿。