本质矩阵 基础矩阵 单应矩阵 (2)

根据定义，本质矩阵 $\mathbf{E}={\mathbf{t}}^{\wedge }\mathbf{R}$。它是一个 $3\times 3$ 的矩阵，内有 $9$ 个未知数。那么，是不是任意一个 $3\times 3$ 的矩阵都可以被当成本质矩阵呢？从 $\mathbf{E}$ 的构造方式上看，有以下值得注意的地方：

• 本质矩阵是由对极约束定义的。由于对极约束是等式为0的约束，所以对 $E$ 乘以任意非零常数后， 对极约束依然满足。我们把这件事情称为 $E$ 在不同尺度下是等价的。

• 根据 $\mathbf{E}={\mathbf{t}}^{\wedge }\mathbf{R}$，可以证明，本质矩阵 $E$ 的奇异值必定是 $[\sigma ,\sigma ,0{]}^T$ 的形式。这称为本质矩阵的内在性质。

• 另一方面，由于平移和旋转各有三个自由度，故$\mathbf{E}={\mathbf{t}}^{\wedge }\mathbf{R}$共有 $6$ 个自由度。但由于尺度等价性，故 $\mathbf{E}$ 实际上有 $5$ 个自由度。

$E$ 具有五个自由度的事实，表明我们最少可以用五对点来求解 $E$。但是， $E$ 的内在性质是一种非线性性质，在求解线性方程时会带来麻烦，因此，也可以只考虑它的尺度等价性，使用八对点来估计 $E$——这就是经典的八点法（Eight-point-algorithm）。八点法只利用了 $E$ 的线性性质，因此可以在线性代数框架下求解。下面我们来看八点法是如何工作的。

考虑一对匹配点，它们的归一化坐标为：${\mathbf{x}}_1={\left[u_1,v_1,1\right]}^T,{\mathbf{x}}_2={\left[u_2,v_2,1\right]}^T$。根据对极约束，有:

$\left(u_2,v_2,1\right)\left(\begin{array}{ccc}{e}_1& e_2& e_3\\ e_4& e_5& e_6\\ e_7& e_8& e_9\end{array}\right)\left(\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right)=0$

我们把矩阵 $E$ 展开，写成向量的形式：

$\mathbf{e}={\left[e_1,e_2,e_3,e_4,e_5,e_6,e_7,e_8,e_9\right]}^T$

那么对极约束可以写成与 $e$ 有关的线性形式：

$\left[u_2{u}_1,u_2{v}_1,u_2,v_2{u}_1,v_2{v}_1,v_2,u_1,v_1,1\right]\cdot e=0$

同理，对于其它点对也有相同的表示。我们把所有点都放到一个方程中，变成线性方
程组 ($u^i,v^i$表示第 i 个特征点，以此类推）：

$\left(\begin{array}{ccccccccc}{u}_2^1{u}_1^1& u_2^1{v}_1^1& u_2^1& v_2^1{u}_1^1& v_2^1{v}_1^1& v_2^1& u_1^1& v_1^1& 1\\ u_2^2{u}_1^2& u_2^2{v}_1^2& u_2^2& v_2^2{u}_1^2& v_2^2{v}_1^2& v_2^2& u_1^2& v_1^2& 1\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& \\ u_2^8{u}_1^8& u_2^8{v}_1^8& u_2^8& v_2^8{u}_1^8& v_2^8{v}_1^8& v_2^8& u_1^8& v_1^8& 1\end{array}\right)\left(\begin{array}{c}{e}_1\\ e_2\\ e_3\\ e_4\\ e_5\\ e_6\\ e_7\\ e_8\\ e_9\end{array}\right)=0$

这八个方程构成了一个线性方程组。它的系数矩阵由特征点位置构成，大小为 $8\times 9$。$e$ 位于该矩阵的零空间中。如果系数矩阵是满秩的（即秩为 $8$），那么它的零空间维数为 $1$，也就是 $e$ 构成一条线。这与 $e$ 的尺度等价性是一致的。如果八对匹配点组成的矩阵满足秩为 $8$ 的条件，那么 $E$ 的各元素就可由上述方程解得。

接下来的问题是如何根据已经估得的本质矩阵 $E$ ，恢复出相机的运动 $R,t$。这个过程是由奇异值分解（$SVD$）得到的。设 $E$ 的 $SVD$ 分解为：

$\mathbf{E}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$

其中 $U,V$ 为正交阵， $\Sigma$ 为奇异值矩阵。根据 $E$ 的内在性质，我们知道 $\Sigma =diag(\sigma ,\sigma ,0)$。
在 $SVD$ 分解中，对于任意一个 $E$，存在两个可能的 $t,R$ 与它对应：

$\begin{array}{rl}{\mathbf{t}}_1^{\wedge }& =\mathbf{U}{\mathbf{R}}_Z\left(\frac{\pi }{2}\right)\mathbf{\Sigma }{\mathbf{U}}^T,{\mathbf{R}}_1=\mathbf{U}{\mathbf{R}}_Z^T\left(\frac{\pi }{2}\right){\mathbf{V}}^T\\ {\mathbf{t}}_2^{\wedge }& =\mathbf{U}{\mathbf{R}}_Z\left(-\frac{\pi }{2}\right)\mathbf{\Sigma }{\mathbf{U}}^T,{\mathbf{R}}_2=\mathbf{U}{\mathbf{R}}_Z^T\left(-\frac{\pi }{2}\right){\mathbf{V}}^T\end{array}$

其中 ${\mathbf{R}}_Z\left(\frac{\pi }{2}\right)$ 表示沿 $Z$ 轴旋转 $90$ 度得到的旋转矩阵。同时，由于 $-E$ 和 $E$ 等价，所以对任意一个 $t$ 取负号，也会得到同样的结果。因此，从 $E$ 分解到 $t,R$ 时，一共存在四个可能的解（恢复出摄像机投影矩阵的四个可能解）。

分解本质矩阵得到的四个解。在保持投影点（红点）不变的情况下，两个相机以及空间点一共有四种可能的情况。

上图形象地显示了分解本质矩阵得到的四个解。我们已知空间点在相机（蓝色线）上的投影（红点），想要求解相机的运动。在保持红点不变的情况下，可以画出四种可能的情况，不过幸运的是，只有第一种解中， $P$ 在两个相机中都具有正的深度。因此，只要把任意一点代入四种解中，检测该点在两个相机下的深度，就可以确定哪个解是正确的了。

如果利用 $E$ 的内在性质，那么它只有五个自由度。所以最小可以通过五对点来求解相机运动。然而这种做法形式复杂，从工程实现角度考虑，由于平时通常会有几十对乃至上百对的匹配点，从八对减至五对意义并不明显。为保持简单，我们这里就只介绍基本的八点法了。

剩下的问题还有一个：根据线性方程解出的 $E$，可能不满足 $E$ 的内在性质——它的奇异值不一定为 $\sigma ,\sigma ,0$ 的形式。这时，在做 $SVD$ 时，我们会刻意地把 $\Sigma$ 矩阵调整成上面的样子。通常的做法是，对八点法求得的 $E$ 进行 $SVD$ 分解后，会得到奇异值矩阵 $\Sigma =diag(\sigma 1,\sigma 2,\sigma 3)$，不妨设 $\sigma 1\ge \sigma 2\ge \sigma 3$。取：

$\mathbf{E}=\mathbf{U}\mathrm{diag}\left(\frac{{\sigma }_1+{\sigma }_2}{2},\frac{{\sigma }_1+{\sigma }_2}{2},0\right){\mathbf{V}}^T$

这相当于是把求出来的矩阵投影到了 $E$ 所在的流形上。当然，更简单的做法是将奇异值矩阵取成 $diag(1,1,0)$，因为 $E$ 具有尺度等价性，这样做也是合理的。

分解本质矩阵
https://zhuanlan.zhihu.com/p/349741190

https://gutsgwh1997.github.io/2020/05/26/%E5%8F%8D%E5%AF%B9%E7%A7%B0%E7%9F%A9%E9%98%B5%E7%9A%84%E6%80%A7%E8%B4%A8/

${\left(U\left[\begin{array}{l}0\\ 0\\ a\end{array}\right]\right)}^{\wedge }=U\left[\begin{array}{ccc}0& -a& 0\\ a& 0& 0\\ 0& 0& 0\end{array}\right]U^T$

$(Ub{)}^{\wedge }=U{b}^{\wedge }{U}^T$
$\iff (Ub{)}^{\wedge }U=U{b}^{\wedge }{U}^{T}U=U{b}^{\wedge }$
$\iff \forall a\in R^3,(Ub{)}^{\wedge }Ua=U{b}^{\wedge }a$
$\iff \forall a\in R^3,(Ub)\times (Ua)=U(b\times a)$