多视图几何(10)_基本矩阵F的计算

基本矩阵F的计算

基本方程

基本矩阵满足
$$x^{\prime }Fx=0$$
用向量$f$表示由$F$的元素按行优先顺序排列的$9$维度列向量，则有
$$Af=0$$
$A$是$n$对匹配点组成的$n\times 9$矩阵，$f$的最小二乘解对应于$A$的最小奇异值的奇异向量，即$SVD$分解中矩阵$V$的最后一列。基本矩阵的一个重要性质是它是奇异的，然后直接求解出的矩阵$F$一般情况的秩不是$2$，因此需要采取步骤强制这种约束。实现方法是修正由$A$的$SVD$分解得到的$F$。矩阵$F$被在约束$\det F^{\prime }=0$下最小化$\text{Frobenius}$范数$\parallel F^{\prime }-F\parallel$的$F^{\prime }$来代替。

如果$A$的秩为$8$，则可以在不计尺度因子下求解$f$，当矩阵$A$的秩为$7$时，仍然可以用奇异性约束来求解基本矩阵。

最重要的情况是仅有$7$对点对应是一致的，这导致一个$7\times 9$的矩阵$A$，其秩为$7$，此时$Af=0$的解形如$\alpha F_1=(1-\alpha )F_2$的$2$维空间，矩阵$F_1,F_2$是对应于$A$的右零空间生成元$f_1,f_2$的矩阵。施加$\det F=0$约束等价于$\det (\alpha F_1+(1-\alpha )F_2)=0$。由于$F_1,F_2$已知，可以通过解此多项式来求解$\alpha$，可能有一个或三个实数解。

归一化$8$点算法

目标

给定$n\ge 8$组图像点对应 { x i ↔ x i ′ } \{x_i \leftrightarrow x_i^\prime \} {xi​↔xi′​}，确定使得$x_i^{\prime T}F{x}_i=0$的基本矩阵$F$

算法

1. 归一化：根据${\hat{x}}_i=T{x}_i$和${\hat{x}}_i^{\prime }=T^{\prime }{x}_i^{\prime }$变换图像坐标。其中$T,T^{\prime }$是由平移和缩放组成的归一化变换
2. 按如下方法寻求对应于匹配${\hat{x}}_i\leftrightarrow {\hat{x}}_i^{\prime }$的基本矩阵${\hat{F}}^{\prime }$
   • 线性解：由$\hat{A}$的对应最小奇异值的奇异向量确定$\hat{F}$，其中$\hat{A}$由匹配${\hat{x}}_i\leftrightarrow {\hat{x}}_i^{\prime }$形成
   • 强迫约束：用SVD并以${\hat{F}}^{\prime }$代替$\hat{F}$使得$\det {\hat{F}}^{\prime }=0$
3. 解除归一化：令$F=T^{\prime T}{\hat{F}}^{\prime }T$

代数最小化算法

归一化$8$点法中通过$SVD$方法寻找最小化$\parallel F^{\prime }-F\parallel$的$F^{\prime }$来代替$F$，然而这并不是数值意义上最接近$F$的算法。代数最小化方法是通过在约束$\parallel f^{\prime }\parallel =1$下最小化$\parallel Af\parallel =0$，该过程只能通过迭代方式进行，因为$\det F^{\prime }=0$是三次约束而不是线性约束

任意一个$3\times 3$奇异矩阵可以写成$F=M[e{]}_{\times }$，其中$M$是一个非奇异矩阵，$e$是第一幅图像的对极点。现在希望计算形如$F=M[e{]}_{\times }$并在约束$\parallel f\parallel =1$下最小化代数误差$\parallel Af\parallel$。假定已知$e$的初始值，将$F=E[e{]}_{\times }$改写为$f=Em$，则$E$为
$$E=\left[\begin{array}{ccc}[e{]}_{\times }& & \\ & [e{]}_{\times }& \\ & & [e{]}_{\times }\end{array}\right]$$
因为$f=Em$，该最小化问题变为

在约束条件$\parallel Em\parallel =1$下，最小化$\parallel AEm\parallel$

目标

求在约束$\parallel f\parallel =1$和$\det F=0$下最小化代数误差$\parallel Af\parallel$的基本矩阵$F$

算法

1. 用归一化$8$点算法求基本矩阵的第一个近似$F_0$，然后求$F_0$的右零向量$e_0$
2. 从对极点的估计$e_i=e_0$出发，计算矩阵$E_i$，接着求最小化$\parallel Af_i \parallel $并满足$\parallel f_i \parallel =1$的向量$f_i=E_im_i$
3. 计算代数误差${\epsilon }_i=A{f}_i$，由于$f_i$从而${\epsilon }_i$被确定到仅相差一个正负号，修正${\epsilon }_i$的符号，使得当$i>0$时$e_i^T{e}_{i-1}>0$。这样做是为了保证作为$e_i$的函数的${\epsilon }_i$平滑变化
4. 商量不定义了$I{R}^3\to I{R}^9$的一个映射：$e_i\to {\epsilon }_i$，现在用LM迭代变换$e_i$以最小化$\parallel {\epsilon }_i\parallel$
5. 收敛时，$f_i$代表所求的基本矩阵

几何距离

黄金标准方法

假定图像点的测量噪声服从高斯分布。

目标

给定$n\ge 8$组图像点对应 { x i ↔ x i ′ } \{x_i \leftrightarrow x_i^\prime \} {xi​↔xi′​}，确定基本矩阵的最大似然估计$(MLE)\hat{F}$

$MLE$同时还求满足${\hat{x}}_i^{\prime T}\hat{F}{\hat{x}}_i=0$的辅助点对应集合 { x ^ i ↔ x ^ i ′ } \{\hat x_i \leftrightarrow \hat x_i^\prime \} {x^i​↔x^i′​}，并最小化
$$\sum _{i}d(x_i,{\hat{x}}_i{)}^2+d(x_i^{\prime },{\hat{x}}_i^{\prime }{)}^2$$

算法

1. 用线性算法来计算$\hat{F}$的一个秩为$2$的初始估计
2. 计算辅助变量 { x ^ i , x ^ i ′ } \{\hat x_i,\hat x_i^\prime\} {x^i​,x^i′​}的初始估计如下：
   • 选择摄像机矩阵$P=[I\mid 0],P^{\prime }=[[e^{\prime }{]}_{\times }\hat{F}\mid e^{\prime }]$，其中$e^{\prime }$由$\hat{F}$得到
   • 用三角测量法，由对应点$x_i\leftrightarrow x_i^{\prime }$和$\hat{F}$确定${\hat{X}}_i$的一个估计
   • 与$\hat{F}$相容的对应是${\hat{x}}_i=P{\hat{X}}_i,{\hat{x}}_i^{\prime }=P^{\prime }{\hat{X}}_i$
3. 在$\hat{F}$和${\hat{X}}_i$上，使用LM最小化上述代价函数，它有$3n+12$个变量：$3n$来自于$n$个$3D$点${\hat{X}}_i$，$12$个来自于摄像机矩阵$P^{\prime }=[M\mid t]$，同时$\hat{F}=[t{]}_{\times }M$且${\hat{x}}_i=P{\hat{X}}_i,{\hat{x}}_i^{\prime }=P^{\prime }{\hat{X}}_i$

秩2矩阵的参数化

• 对极参数化
• 两个对极点都作为参数

一阶几何误差Sampson

根据$Sampson$公式
$$\frac{{\epsilon }^T\epsilon }{J{J}^T}=\frac{(x_i^{\prime T}F{x}_i{)}^2}{J{J}^T}$$
从$J$的定义得到
$$J{J}^T=(F{x}_i{)}_1^2+(F{x}_i{)}_2^2+(F^T{x}_i^{\prime }{)}_1^2+(F^T{x}_i^{\prime }{)}_2^2$$
其中$(F{x}_i{)}_j^2$表示向量$F{x}_i$的第$j$个元素的平方，代价函数为
$$\sum _i\frac{(x_i^{\prime T}F{x}_i{)}^2}{(F{x}_i{)}_1^2+(F{x}_i{)}_2^2+(F^T{x}_i^{\prime }{)}_1^2+(F^T{x}_i^{\prime }{)}_2^2}$$
用这种方法逼近集合误差的突出优点是对策道德代价函数只涉及$F$的参数，不需要$n$个空间点$X_i$的坐标，从而把一个$3n+7$的自由度的最小化问题转换为一个只有$7$自由度的问题

对称对极点距离

上述Sampson类似另一种代价函数
$$\sum _{i}d(x_i^{\prime },F{x}_i{)}^2+d(x_i,F^T{x}_i^{\prime }{)}^2=\sum _i(x_i^{\prime T}F{x}_i{)}^2(\frac{1}{(F{x}_i{)}_1^2+(F{x}_i{)}_2^2}+\frac{1}{(F^T{x}_i^{\prime }{)}_1^2+(F^T{x}_i^{\prime }{)}_2^2})$$

建议

1. 不要使用未归一化的$8$点算法
2. 为了快速并易于实现，使用归一化$8$点算法，常能给出足够好的结果，适宜作为其他算法的第一步
3. 如果需要更高的准确性，采用代数最小化方法，用或者不用关于对极点位置的迭代均可
4. 另一种能给出很好结果的方法是运用最小化$Sampson$代价函数，它与迭代代数方法给出相似的结果
5. 若高斯噪声假设成立，为了得到最好的结果，可使用黄金标准算法

F的自动计算

目标

计算两幅图像之间的基本矩阵

算法

1. 兴趣点：在每幅图像中计算兴趣点
2. 假设对应：利用兴趣点的灰度领域的相近和相似计算它们的匹配集
3. $\text{RANSCA}$鲁棒估计：重复$N$次采样，其中$N$是自适应确定的
   • 选择$7$组对应构成的一个随机样本计算基本矩阵$F，$得到一个或三个解
   • 对每组假设对应计算距离$d_{\perp }$
   • 计算与$F$一致的内点数，即满足$d_{\perp }<t$像素的对应的数目
   • 如果$F$有三个实解，计算每一个解的内点数并保留具有最多内点数的解
     选择具有最多内点数的$F$，在数目相等时，选择内点标准差最小的那个解
4. 非线性估计：利用LM算法最小化某个代价函数，由划为内点的所有对应重新估计$F$
5. 引导匹配：利用所估计的$F$定义对极线附近的搜索区域，以便进一步确定兴趣点的对应

最后两步可以反复迭代直到对应的数目稳定为止

计算F的特殊情形

• 纯平移运动
• 平面运动
• 已标定的情况：只需要求解本质矩阵
  设$E$是一个$SVD$为$E=UD{V}^T$的$3\times 3$矩阵，其中$D=diag(a,b,c),a\ge b\ge c$，则在$\text{Frobenius}$范数下最接近$E$的本质矩阵是$\hat{E}=U\hat{D}{V}^T$，其中$\hat{D}=diag((a+b)/2,(a+b)/2,0)$

其他元素的对应

• 直线：视图之间的图像直线的对应对$F$完全没有约束
• 空间曲线和曲面：在对极平面与空间曲线相切的点上，像曲面与对应的对极线相切，这为两视图集合提供了约束

退化

• $dim(N)=1$：唯一解——非退化情形
  发生于一般位置的$n\ge 8$组点对应，如果$n>8$，那么点对应必须是完全精准的
• $dim(N)=2$：$1$或$3$个解
  发生于$7$组点对应的情形，同时也发生于$n>7$组完全精准的点对应的情形，其中$3D$点和摄像机中心在一个被称为临界曲面的直纹二次曲面上。二次曲面可以是非退化的或退化的
• $dim(N)=3$：两参数的解族
  发生于由一个单应相关联的$n\ge 6$组完全精准的点对应$x_i^{\prime }=H{x}_i$
  • 绕摄像机中心旋转（一种退化的运动）
  • 所有的世界点在一个平面上（一种退化的结构）

计算F的几何解释

对极线的包络

如果要在第二幅图像中寻找再第一幅图中$x$的匹配点，我们会在$Fx$这条极线上搜索，但由于误差存在有可能不在这条直线上。下面确定对极线的包络，即$x$的匹配点在$Fx$的多远的范围内出现

如果$I$是服从均值为$\tilde{I}$，协方差矩阵为秩$2$矩阵${\Sigma }_I$的高斯分布的随机直线，则平面二次曲线
$$C=\overline{I}{\overline{I}}^T-k^2{\Sigma }_I$$
表示一个等似然轮廓，它围住了直线$I$的所有事件中的某一部分。如果$F_2(k^2)$表示累积${\mathcal{X}}_2^2$分布，且选择$k^2$使得$F_2(k^2)=\alpha$，则所有直线中占$\alpha$比例的部分落在由$C$所界定的区域内，也就是说这些直线落在这个区域的概率是$\alpha$

图像矫正

为了产生一对“匹配对极线的投影”，对视点差别很大的立体图像对进行重采样。这些投影的对极线平行于$x$轴并且在视图之间相匹配，从而图像之间的视差进发生在$x$方向，即$y$方向没有视差。

为了使对极线匹配，对两幅图像施加一对$2D$射影变换，用这种方法使两幅图像尽可能的对应，并且任何视差都将平行于$x$轴，因为施加的任意$2D$射影变换可能造成图像极大的失真，寻找变换对的方法要使得图像是真的最小

映射对极点到无穷远点

假定$x_0$是原点且对极点$e=(f,0,1{)}^T$在$x$轴上，考虑以下变换
$$G=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ -1/f& 0& 1\end{array}\right]$$
该变换把对极点$(f,0,1{)}^T$变到无穷远点$(f,0,0{)}^T$

对于任何位置上的感兴趣点$x_0$和对极点$e$，所需要的映射$H=GRT$，$T$是把$x_0$映射到原点的平移，$R$是一个绕原点的旋转并使对极点$e^{\prime }$转到$x$轴上的点$(f,0,1{)}^T$

匹配变换

现在考虑如何把一个映射施加到另一图像上是的极线相互匹配

• 设$J,J^{\prime }$是具有基本矩阵$F=[e^{\prime }{]}_{\times }M$的两幅图像，并设$H^{\prime }$是$J^{\prime }$的一个射影变换，则$J$的一个射影变换$H$与$H^{\prime }$匹配当且仅当对某个向量$a$，$H$具有形式

$$H=(I+H^{\prime }{e}^{\prime }{a}^T)H^{\prime }M$$

• 设$J,J^{\prime }$是具有基本矩阵$F=[e^{\prime }{]}_{\times }M$的两幅图像，并设$H^{\prime }$是$J^{\prime }$的把对极点$e^{\prime }$映射到无穷远点$(1,0,0{)}^T$的一个射影变换，则$J$的一个射影变换$H$与$H^{\prime }$匹配当且仅当$H=H_A{H}_0$，其中$H_0=H^{\prime }M$,$H_A$为

$$H_A=\left[\begin{array}{ccc}a& b& c\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

算法描述

现在总结重采样算法。其输入是有共同重叠区域的一对图像，输出是重采样的一对图像，使得这两幅图像中对极线都是水平的，并且两幅图像中的对应点尽可能相互接近。两个匹配点之间的任何视差都沿着水平对极线。该算法的一个顶层概述如下。

1. 在两幅图像之间确定从图像到图像的匹配种子集合$x_i\leftrightarrow x_i^{\prime }$，最少需要7个点,当然越多越好。
2. 计算基本矩阵$F$并且找到两幅图像中的对极点$e,e^{\prime }$
3. 选择一个把对极点$e$映射到无穷远点$(1,0,0{)}^T$的射影变换$H$
4. 求最小化最小二乘距离
   $$\sum _{i}d(H{x}_i,H^{\prime }{x}_i^{\prime })$$
   的匹配射影变换$H$，实质是求$H_A$
5. 根据射影变换$H$重采样第一幅图像并根据射影变换$H^{\prime }$重采样第二幅图像