【多视图几何】TUM 课程 第4章 同名点匹配

课程的 YouTube 地址为：https://www.youtube.com/playlist?list=PLTBdjV_4f-EJn6udZ34tht9EVIW7lbeo4。视频评论区可以找到课程所使用课件与练习题的下载地址。

课程第4章介绍了如何在两幅影像上匹配同名点，匹配同名点是计算影像相对姿态的第一步。用光流、特征点提取方法进行同名点匹配。

1. 从影像到几何

影像呈现的是色彩与亮度，但 MVG 使用匹配点或线进行三维重建，所以从影像的色彩信息中提取点或线是传统 MVG 的第一步。

为什么说是“传统 MVG ”呢？因为在以前计算资源匮乏的时代，只能通过稀疏的点与线进行三维重建。当今计算资源丰富，内存能够存储大量的信息，可以将影像的每一个像素存入内存参与计算，这种方式属于“直接法”，在课程的后半部分会讨论到。

从影像中提取同名点有存在两大挑战：1. 非刚体变化，影像中出现的非刚体在两张影像对应的两个时间点上一些特征点完全消失，无法匹配；2. 非朗博面，存在镜面反射，在不同角度观察空间位置上的同一个点存在着亮度相差特别大的问题。

在同名点匹配可以分为两种情形：
1. 微小移动，意味着基线短，两张影像中同名特征点之间的距离短，容易通过小窗口找到，同名点的寻找方向也基本一致；
2. 长基线，相机移动很大，左影像的特征点有可能在右影像的任何位置上。

对于短基线的情形，使用光流法（Optical Flow）进行特征点匹配，该方法是 Lucas 与 Kanade 于1981年提出的。

在两张影像上寻找同名点是在二维的影像平面上进行寻找，不涉及将特征点投影到三维空间进行寻找，因为这一步只是在一张影像上找到特征点，另一张影像上对应的点还没有找到，怎么投影嘛。。。

2. 微小移动建模

首先，对特征点的运动进行建模。

假设右影像相对左影像的位姿为 $R, T$，于是对于左影像上一特征点（坐标为 $x_1$）和右影像上该特征点对应的坐标 $x_2$ 之间的关系为

$$\mathbf{x_2} = h(\mathbf{x_1}) = {1 \over \lambda_2(\mathbf{X})}( R \lambda_1 (\mathbf{X})\mathbf{x_1} + T )$$

$\mathbf{X}$ 是特征点的三维坐标，$\lambda_1(\mathbf{X})$ 是特征点在左影像上的景深，$\lambda_2(\mathbf{X})$ 是特征点在右影像上的景深。

对这个公式进行简化，用较为简单的形式对 $x_1, x_2$ 的这种关系建模。

位移模型：

$$h(\mathbf{x}) = \mathbf{x} + b$$

仿射变换模型：

$$h(\mathbf{x}) = A\mathbf{x} + b$$

仿射变换模型也可以写成如下的形式

$$h(\mathbf{x}) = \mathbf{x} + u(\mathbf{x})$$

其中

$$u(\mathbf{x}) = S(\mathbf{x})p = \begin{bmatrix} x & y & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & x & y & 1\end{bmatrix} {\begin{bmatrix} p_1 & p_2 & p_3 & p_4 & p_5 & p_6 \end{bmatrix}}^T$$

3. Lucas-Kanade 方法

Lucas-Kanade 方法建立在一个假设（assumption）之上，这个假设是“同一特征点在不同影像上保持亮度不变”。（当然在当下的语境下，应该是“色彩保持不变”，当时主要使用灰度影像嘛。）

该假设希望特征点对应的物体表示是朗博面，漫反射的成分远远大于镜面反射的成分，这样更容易达到在不同角度下拍摄亮度不变的条件。

在该假设的基础上建立数学模型。亮度保持假设的数学表达为：

I(x(t),t