Python计算机视觉编程第五章——多视图几何

多视图几何

几何计算机视觉把复杂的数学（尤其是射影几何等）引入到计算机视觉的研究中，形成了所谓的“多视图几何”。多视图几何为理解和形式化多视图成像几何奠定了坚实的理论基础，使得十几年前被认为无法解或难以解的问题得以求解，甚至能得到十分漂亮的结果。其最重要的特点是“未标定”方法，即没有必要已知或必须计算摄像机内参数，就可以达到计算机视觉的基本目的。

（一）外极几何

外极几何是研究两幅图像之间存在的几何。它和场景结构无关，只依赖于摄像机的内外参数。研究这种几何可以用在图像匹配、三维重建方面。

基本概念：

基线：  连接两个摄像机光点$O(O^{\prime })$的直线。
外极点：  基线与像平面的交点。
外极平面：  过基线的平面。
外极线：  对极平面与图像平面的交线。
基本矩阵$F$：  对应点对之间的约束$m^{{}^{\prime }T}Fm=0$

数学表达：
光心：  $O={\left[\begin{array}{cccc}0& 0& 0& 1\end{array}\right]}^{\tau }$     $O^{{}^{\prime }}={\left[\begin{array}{cc}-R^{\tau }t& 1\end{array}\right]}^{\tau }$

基本矩阵$F$:    $F=K^{{}^{\prime }-T}[t]xR{K}^{-1}$是秩为2的3x3矩阵，自由度为7。

外极点：  $e=P{O}^{{}^{\prime }}=P{\left[\begin{array}{cc}-R^{\tau }t& 1\end{array}\right]}^T\approx K{R}^{\tau }t$
                $e^{{}^{\prime }}=P^{{}^{\prime }}O=P^{{}^{\prime }}{\left[\begin{array}{cccc}0& 0& 0& 1\end{array}\right]}^T=K^{{}^{\prime }}t$

外极线：  $l=e\times m$
                $l^{{}^{\prime }}=e^{{}^{\prime }}\times m^{{}^{\prime }}$
本质矩阵$E$:   $E=[t{]}_{x}R$ 是秩为$2$的$3\times 3$矩阵，自由度为$5$。
对象之间的关系：  $l=F^T{m}^{{}^{\prime }}$      $l^{{}^{\prime }}=Fm$
                               $Fe=0$          $e=F^{{}^{\prime }T}F=0$
                               $e^{{}^{\prime }T}F=0$      $F=K^{{}^{\prime }-T}E{K}^{-1}$

在两幅图像之间，基本矩阵将点m映射为对应的对极线，将对极点映射为0.不能提供对应点间的一一对应。

基本矩阵的代数推导:

空间中一点$M={\left[\begin{array}{cc}X& 1\end{array}\right]}^T$在两幅图像上的成像分别为：

$sm=P{\left[\begin{array}{cc}X& 1\end{array}\right]}^T=KX$
$s^{’}{m}^{{}^{\prime }}=P^{{}^{\prime }}\left[\begin{array}{cc}X& 1\end{array}\right]=K^{{}^{\prime }}RX+K^{{}^{\prime }}t$

极点：$e^{{}^{\prime }}=P^{{}^{\prime }}C=P^{{}^{\prime }}{\left[\begin{array}{cccc}0& 0& 0& 1\end{array}\right]}^T=K^{{}^{\prime }}t$

极线： l ′ = [ e ′ ] x m ′ = [ K ′ t ] x [ K ′ R X + K ′ t ] = K ′ − T [ t ] x R K − 1 m = F m l^{'}=\left [ e^{'}\right ]_{x}m^{'}=\left [ K^{'}t \right ]_{x}\left [ K^{'} RX+K^{'}t\right ]=K^{'-T}\left [ t \right ]_{x}RK^{-1}m=Fm l′=[e