双目重建之极线约束与极线对齐

1.极线约束

如上图所示，点P为世界坐标系上一点，p为左图像上一点，p'为有图像上一点，则Ppp'形成一个平面，称为极平面（也称为核平面），左右两条绿线与红线则称为极线，O与Or则为左右相机的相心。

如果，我们已知左图像一点p，想去查找右图像中的对应匹配点p’，一种方法就是通过极线约束的方式，在不对图像进行RT变换的前提下，通过两条极线的约束条件，找到右图像中的对应点p’

对应关系可以通过基础矩阵F来构建，表达式如下：
$p_r^{T}F{p}_l=0$

其中，$p_r$为有图像中一点，$p_l$为左图像对应点，$A_l$和$A_r$为左右相机内参，RT为外参
在结构光解码后（详情参考结构光编解码一章），我们已知同一码值的左右图像对应点，增加极线约束这一条件后，便可以更加准确的查找到左右图像的对应点了。

2.极线对齐
双目立体匹配在寻找同名点的过程中，若没有任何先验约束，则对左影像每个像素，需要在右影像全图空间中进行搜索，这种暴力搜索方法不仅效率非常低，而且很容易由于各种因素（如弱纹理、重复纹理等）搜索到错误的对应点

如上图所示，通过标定好的相机参数，将图像投影至与基线平行的平面上，让两个相机的主光轴相互平行，使得极平面与两张图像的交线位于同一个扫描行，这样同一极线对应于两张图像的同一行，即同名点对的行号一定相等，只存在列号的差异

极线对齐之后的图像同名点只存在列号的差异，这种差异就称为视差，具体来说，视差等于同名点在左图像上的列号减去在右图像上的列号。在极线对齐后，相机坐标系的X轴与基线平行，Z轴与像平面垂直，如下图所示

通过三角形$P{O}_l{O}_r$和$Pp{p}^{\prime }$相似可得：

推导可得：

式中，f为相机焦距（或主距），d为视差。式2描述的是深度与视差之间的关系。在双目立体匹配中视差图和深度图都可以作为匹配的结果，视差图总保存每个像素的视差值，是立体匹配算法中最常用的输出方式