對極幾何基礎矩陣求解 - 七點法

前言

一個三維點$x$在兩個相機中的投影分別為$x_1$及$x_2$，這兩個投影點座標需滿足"對極約束"，即$x_2^{T}F{x}_1=0$。其中的$F$即為基礎矩陣，本篇著重於推導基礎矩陣求解方式之一的七點法。

基礎矩陣

基礎矩陣的性質如下：

• 3*3矩陣
• rank為2
• 自由度為7
• 奇異值為$[{\sigma }_1,{\sigma }_2,0{]}^T$
• 極線約束
  • $l_1=x_2^{T}F$
  • $l_2=F{x}_1$
  • $x_2^{T}F{x}_1=0$

基礎矩陣求解方法

基礎矩陣的求解方法包括直接線性變換法以及基於RANSAC的方法。

其中直接線性變換法包含八點法及最小二乘法。

八點法的思想如下：利用極線約束列出每一對點與基礎矩陣的關係式，這個關係式可以被改寫成兩個向量內積的形式。我們有八對點，因此可以得到八條向量內積為0的關係式。我們可以將這些關係式改寫成矩陣$A$乘以向量等於0的形式，其中矩陣$A$是由這八對點的座標所構成的。對$A^{T}A$做SVD矩陣分解，其中最小特徵值所對應的特徵向量即為基礎矩陣的最優解。但是這一步求出來的基礎矩陣有八個自由度($F_{33}$固定為1)，還需要對它進行SVD分解再重構以滿足"奇異值約束"。

最小二乘法與八點法做法相同，差別只在於最小二乘法使用多於八對點。

七點法不同於八點法，利用七對點即可求解基礎矩陣，以下是七點法的推導。

七點法推導

參考Seven-point algorithm。

$F$自由度為7（scale固定，singularity），因此理論上可以用七對點求解基礎矩陣$F$。

仿照八點法構造如下方程：

$$A=\left[\begin{array}{ccccccccc}{x}_{11}{x}_{12}& x_{12}{y}_{11}& x_{12}& x_{11}{y}_{12}& y_{11}{y}_{12}& y_{12}& x_{11}& y_{11}& 1\\ x_{21}{x}_{22}& x_{22}{y}_{21}& x_{22}& x_{21}{y}_{22}& y_{21}{y}_{22}& y_{22}& x_{21}& y_{21}& 1\\ x_{31}{x}_{32}& x_{32}{y}_{31}& x_{32}& x_{31}{y}_{32}& y_{31}{y}_{32}& y_{32}& x_{31}& y_{31}& 1\\ x_{41}{x}_{42}& x_{42}{y}_{41}& x_{42}& x_{41}{y}_{42}& y_{41}{y}_{42}& y_{42}& x_{41}& y_{41}& 1\\ x_{51}{x}_{52}& x_{52}{y}_{51}& x_{52}& x_{51}{y}_{52}& y_{51}{y}_{52}& y_{52}& x_{51}& y_{51}& 1\\ x_{61}{x}_{62}& x_{62}{y}_{61}& x_{62}& x_{61}{y}_{62}& y_{61}{y}_{62}& y_{62}& x_{61}& y_{61}& 1\\ x_{71}{x}_{72}& x_{72}{y}_{71}& x_{72}& x_{71}{y}_{72}& y_{71}{y}_{72}& y_{72}& x_{71}& y_{71}& 1\end{array}\right],Af=0$$

對矩陣$A$做SVD分解：$A=US{V}^T$。

Claim：

$V$矩陣的最後兩個column是$A$矩陣右零空間的basis，即$A$矩陣乘以$V_{\ast ,8}$（$V$的倒數第二個column）與$V_{\ast ,9}$（$V$的最後一個column）的線性組合會得到0，數學運算式為$A(V_{\ast ,8}+\lambda V_{\ast ,9})=0$。

Proof：

$A(V_{\ast ,8}+\lambda V_{\ast ,9})=US{V}^T(V_{\ast ,8}+\lambda V_{\ast ,9})$

因為$V$是正交矩陣（旋轉矩陣乘上自身的轉置矩陣可以得到I，所以旋轉矩陣為正交矩陣），所以$V_i\cdot V_j=0$ if $i\ne j$，$V_i\cdot V_j=1$ if $i=j$。

因此$V^T{V}_{\ast ,8}=(0,0,0,0,0,0,0,1,0{)}^T$，$V^T{V}_{\ast ,9}=(0,0,0,0,0,0,0,0,1{)}^T$。

又因為$S$對角矩陣的最後兩個column全為0，所以$S{V}^T{V}_{\ast ,8}=S_{8,\ast }\cdot (0,0,0,0,0,0,0,1,0{)}^T=0$。同理，$S{V}^T{V}_{\ast ,9}=0$。

因此$A(V_{\ast ,8}+\lambda V_{\ast ,9})=US{V}^T(V_{\ast ,8}+\lambda V_{\ast ,9})=US{V}^T{V}_{\ast ,8}+\lambda US{V}^T{V}_{\ast ,9}=U\ast 0+\lambda U\ast 0=0$。Q.E.D.

將$V_{\ast ,8}+\lambda V_{\ast ,9}$ reshape 成3*3，即為基礎矩陣$F$。

又因為$F$的rank為2，所以需限制其判別式為0，這可以透過調整$\lambda$來達成。

F的判別式為$\lambda$的三次多項式，可表示為：$a_3{\lambda }^3+a_2{\lambda }^2+a_1\lambda +a_0=0$，求解可得一個或三個$\lambda$。

如果得到三個$\lambda$，需要第八對點來確定最終的$\lambda$，以得到最終的$F$。

參考連結

Seven-point algorithm