双目视觉中的极线校正

为什么要做极线校正？

三维重建是通过双目立体匹配实现的如图1，通过匹配空间中点在两个图像中的投影点，再根据三角关系得到P的Z值。

 

我们双目相机拍摄的时候实际情况下如下图a,两个图像做匹配时如我们图中蓝色箭头指示的匹配点那样，需要在全图中进行查找。但是如果我们对相机进行校正，使得它们成像面平行且行对齐如下图b，匹配点在同一行。那么我们只需在同行上查找，大大节约时间。因此，极线校正目的是对两幅图像的二维匹配搜索变成一维，节省计算量，排除虚假匹配点。 

做极线校正我们需要知道哪些基础的立体视觉相关的基础知识？

1. 齐次坐标，刚体变换

• 齐次坐标

用n+1维矢量表示n维矢量，主要用途是可以方便矩阵运算。（参考下式）

• 刚体变换

刚性物体无论位置和方向发生变换还是在不同坐标系下观察同一个物体，它的形状和大小都保持不变；

• 3个旋转3个平移共6个自由度；

• 用途：

  • 计算一个刚体经过旋转和平移后的新坐标 ；

  • 计算同一刚体在不同坐标系下的坐标。

2.图像坐标系，相机坐标系，世界坐标系

• 图像坐标系

 

 3.相机投影模型（针孔投影模型）

把图像平面放到针孔前方（数学上等价，计算更简单）： 

当已知图像点p时，由针孔成像模型，任何位于射线OP上的空间点的图像点都是p点，因此空间点不是唯一确定的。 whaosoft aiot http://143ai.com 

• 投影关系 (从世界坐标系到图像坐标系)

4.对极几何  

极线约束给出了对应点重要的约束条件，它将对应点匹配从整幅图像中查找压缩到一条线上查找，大大减小了搜索范围，对对应点的匹配起指导作用。

极限校正怎么实现？

1.三角测量原理

假设我们两台摄像机像平面精准位于同一平面上，且行对齐，两个光轴严格平行。

• 视差与深度图关系：

  • 视差与深度成反比，视差接近0时，