本质矩阵(E)的奇异值分解（SVD）得到(R,T)

学习视觉里程计的时候，有一个对极几何中的本质矩阵分解（R,T）不是很理解，让我们从头到尾进行一个完整的计算，包括 SVD 分解以及从本质矩阵恢复旋转矩阵 ( R ) 和平移向量 ( T ) 的过程。
先来个例子，在给出原理

一、例子

1. 给定本质矩阵 ( E )

假设我们有如下的本质矩阵 ( E )：

$E=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& -2\\ 0& 2& 0\end{array}\right]$

2. 进行 SVD 分解

对本质矩阵 ( E ) 进行 SVD 分解，我们需要将其分解为三个矩阵$U$，$\Sigma$，和$V^T$，使得：

$E=U\Sigma V^T$

计算协方差矩阵 $E^{T}E$ 和 $E{E}^T$

首先，计算协方差矩阵：

$E^{T}E=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 2\\ 0& -2& 0\end{array}\right]\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& -2\\ 0& 2& 0\end{array}\right]=\left[\begin{array}{ccc}1& 0& -2\\ 0& 5& 0\\ -2& 0& 4\end{array}\right]$

接下来，计算 ( E E^T )：

$E{E}^T=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& -2\\ 0& 2& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 2\\ 0& -2& 0\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 5& 0\\ 0& 0& 4\end{array}\right]$

计算特征值和特征向量

接下来，我们要计算KaTeX parse error: Can't use function '\)' in math mode at position 7: E^T E \̲)̲ 和 \( E E^T的特征值和特征向量。

对于$E^{T}E$：

特征方程为：

$\text{det}(E^{T}E-\lambda I)=0$

$\text{det}\left(\left[\begin{array}{ccc}1-\lambda & 0& -2\\ 0& 5-\lambda & 0\\ -2& 0& 4-\lambda \end{array}\right]\right)=0$

通过解特征方程，我们可以得到特征值${\lambda }_1=5$，${\lambda }_2=4$，${\lambda }_3=1$。

相应的特征向量为：

$v_1=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right],v_2=\left[\begin{array}{c}-1\\ 0\\ 1\end{array}\right],v_3=\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]$

对于$E{E}^T$，我们可以类似地计算特征值和特征向量。

得到 SVD 结果

通过上述计算，我们可以得到：

$U=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& -1\end{array}\right],\Sigma =\left[\begin{array}{ccc}\sqrt{5}& 0& 0\\ 0& 2& 0\\ 0& 0& 1\end{array}\right],V^T=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& -2\\ 0& -2& 0\end{array}\right]$

3. 定义旋转矩阵模板$W$和 $W^T$

旋转矩阵模板$W$和$W^T$定义如下：

$W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],W^T=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& 1\end{array}\right]$

4. 恢复旋转矩阵$R_1$和$R_2$

通过公式$R_1=UW{V}^T$ 和$R_2=U{W}^T{V}^T$，我们可以计算出两个候选的旋转矩阵。

计算 $R_1$)：

$R_1=UW{V}^T=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& -1\end{array}\right]\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 2\\ 0& 2& 0\end{array}\right]$

通过矩阵乘法计算出：

$R_1=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]$

计算 $R_2$：

$R_2=U{W}^T{V}^T=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& -1\end{array}\right]\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 2\\ 0& 2& 0\end{array}\right]$

通过矩阵乘法计算出：

$R_2=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& -1\end{array}\right]$

5. 恢复平移向量$T$

平移向量 ( T ) 的反对称矩阵可以从 ( U ) 的第三列提取，并且有两种可能性：

$T_1=\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]\text{或}{T}_2=-T_1$

6. 选择正确的$R$ 和$T$

最终结果需要通过验证恢复三维点的几何正确性来确定。

这个例子展示了如何从给定的本质矩阵开始，通过 SVD 分解恢复旋转矩阵 ( R ) 和平移向量 ( T )。

二、 从本质矩阵到旋转和平移恢复的原理

1. 本质矩阵的定义

本质矩阵（Essential Matrix）是描述两台相机之间的相对运动的 3x3 矩阵，包含了相机之间的旋转和平移信息。它是对极几何中的核心概念，连接了两幅图像中对应点的几何关系。

本质矩阵 ( E ) 满足如下关系：

$${{\mathbf{x}}_2}^{T}E{\mathbf{x}}_1=0$$

其中：

• ${\mathbf{x}}_1$ 和 ${\mathbf{x}}_2$分别是归一化后的图像坐标点。

2. 奇异值分解 (SVD)

本质矩阵 ( E ) 可以通过奇异值分解 (SVD) 分解为三个矩阵的乘积：

$$E=U\Sigma V^T$$

其中：

• $U$ 和 $V$ 是正交矩阵。
  -$\Sigma$ 是对角矩阵，包含两个相等的非零奇异值和一个为零的奇异值。

3. 恢复旋转矩阵和平移向量

通过 SVD 分解后的矩阵$U$、$\Sigma$ 和$V$，我们可以恢复出相机的旋转矩阵 ( R ) 和平移向量 ( T )：

恢复旋转矩阵

旋转矩阵 $R$可以通过以下两个候选矩阵得到：

$$R_1=UW{V}^T,R_2=U{W}^T{V}^T$$

其中$W$ 是一个固定的旋转矩阵模板：

$$W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]$$

恢复平移向量

平移向量 $T$可以通过矩阵$U$的第三列 $u_3$ 提取出来：

$$T=\pm u_3$$

其中$u_3$是矩阵$U$的第三列。

4. 选择正确的$R$和$T$

由于存在四种组合可能性$R_1$ 和$R_2$分别与$T$ 或$-T$组合），最终结果需要通过验证恢复三维点的几何正确性来确定。

拓展：