【多视图几何】TUM 课程 第5章 双视图重建：线性方法

课程的 YouTube 地址为：https://www.youtube.com/playlist?list=PLTBdjV_4f-EJn6udZ34tht9EVIW7lbeo4。视频评论区可以找到课程所使用课件与练习题的下载地址。

课程第5章介绍了如何从两张影像重建同名点的三维空间坐标，其中涉及到本征矩阵、基础矩阵、八点法恢复、四点法恢复。

1. 重建问题

重建问题是指通过影像重建场景中三维点的空间位置，在重建场景中三维点的空间位置之前需要获得影像的空间位置与姿态。故，重建问题涉及两方面的问题：1. 重建各影像的空间位置与姿态；2. 重建场景三维点的空间位置。

1.1 假设

前一章讲述了如何从影像中获得同名点，于是本章的讨论基于以下假设：
1. 已获得各影像之间的特征点对应关系；
2. 场景中任何物体在拍摄过程中不存在移动；
3. 相机已经过标定，影像的内参已知。

1.2 几何模型

在本章中用的几何模型如下图所示（图片来源于 TUM 课程 Slides）：

$o_1, o_2$ 分别是左右两张影像的成像中心，它们俩的连线 $(o_1, o_2)$ 被称为基线（Baseline）。

直线 $(o_1, o_2)$ 分别与左右影像交于 $e_1, e_2$ 两点，$e_1, e_2$ 被称为极点（Epipole），极点可以看做是影像成像中心在其他影像上的投影。

空间中一点 $X$ 与在左右影像上的投影分别为 $x_1, x_2$，$o_1, o_2, X$ 三点确定的平面被称为核面（Epipolar Plane）。

连接 $x_1, e_1$ 得到直线 $l_1$，$l_1$ 被称为 $x_2$ 在左影像上对应的核线（Epipolar Line），同理 $l_2$ 也是 $x_1$ 在右影像上对应的核线。

2. 极线约束

像平面坐标 $\mathbf{x}$ 与三维空间点在世界坐标系下的坐标 $\mathbf{X_0}$ 的关系如下：

$$\lambda \mathbf{x} = K_f \Pi_0 g \mathbf{X_0}$$

对于左影像，可以将世界坐标系设置为与左影像的相机坐标系重合（$g$ 为单位阵），于是上式简化为：

$$\lambda \mathbf{x} = K_f \mathbf{X}$$

其中 $\mathbf{X}$ 是三维空间点在左影像相机坐标系下的非齐次坐标，$\mathbf{X} = \Pi_0 \mathbf{X_0}$。

方便起见，将像平面坐标 $\mathbf{x}$ 所使用的单位长度设置为影像的焦距 $f$，即每一个坐标值除以 $f$，$K_f$ 是一个对角矩阵，所以这么做相当于 $\mathbf{x} = K_f^{-1}\mathbf{x}$，于是上式可以继续化简为：

$$\lambda \mathbf{x} = \mathbf{X}$$

2.1 约束推导

对左右影像建立投影关系：

$$\lambda_1 \mathbf{x_1} = \mathbf{X}, \quad \lambda_2 \mathbf{x_2} = R \mathbf{X} + T$$

两式整合

$$\lambda_2 \mathbf{x_2} = R (\lambda_1\mathbf{x_1}) + T$$

消除式子最右边单独的 $T$，因为解线性方程最好整个式子只有一项（齐次）或两项（非齐次），采用的方法是用 $T$ 的正交补 $\hat T$ 左乘式子两边：

$$\lambda_2 \hat T \mathbf{x_2} = \lambda_1 \hat T R \mathbf{x_1}$$

现在，消除式子中的 $\lambda_2$ （$\lambda_2$ 在 $\lambda_1, R, T$ 已知的情况下是可以计算出来的，所以现在专心计算 $\lambda_1, R, T$，不要理会 $\lambda_2$），采用的方法是 $\mathbf{x_2}^T$ 右乘式子：

$$\mathbf{x_2}^T \hat T R \mathbf{x_1} = 0$$

注意 $\hat T \mathbf{x_2} = T \times \mathbf{x_2}$ 是两个向量的叉乘，结果垂直于 $T$ 与 $\mathbf{x_2}$，所以 x2T