计算机视觉中的多视图几何＜Part0—基础知识：射影几何、变换和估计＞(4)

4. 算法评价和误差分析

评价和量化估计算法的结果，通常仅有一个变量或变换的估计是不够的，还需要进行置信度或不可靠性的度量(协方差)。

4.1 性能的界定

依据计算得到的模型与(有噪声的)输入数据的匹配程度，或估计得到的模型与原先无噪声的数据吻合程度来评价算法。

4.1.1 Error in one image

• RMS残差：
  $${\epsilon }_{res}=(\frac{1}{2n}\sum _{i=1}^{n}d({\text{x}}_i^{\prime },{\hat{\text{x}}}_i^{\prime }{)}^2{)}^{1/2}$$
  残差值本身并不是解的质量的一个绝对度量，在渐近情况下方差应该反比例与匹配点数目而减少，与此同时残差将增加；

4.1.2 Error in both images

• RMS残差：
  $${\epsilon }_{res}=\frac{1}{\sqrt{4n}}(\sum _{i=1}^{n}d({\text{x}}_i,{\hat{\text{x}}}_i{)}^2+\sum _{i=1}^{n}d({\text{x}}_i^{\prime },{\hat{\text{x}}}_i^{\prime }{)}^2{)}^{1/2}$$

4.1.3 Optimal estimators (MLE)

几何误差的最小化等于MLE，任何实现几何误差最小化的算法的目标应该是达到MLE给出的理论界，最小化其他不同代价函数的算法可以根据它与MLE所给出的界的接近程度来作性能判断。
一般的估计问题关系到一个由IR^M到IR^N的函数$f$，其中IR^M是参数空间，而IR^N是测量空间。$f(\bar{P})=\bar{X}$，当参数矢量$P$的值在点$\bar{P}$的领域变化时，函数$f(P)$的值形成IR^N中过点$\bar{X}$的曲面$S_M$(由$f$的值域给出)是IR^N的子流形，其维数是本质参数数目$d$。

给定测量矢量$X$，最大似然(ML)估计$\hat{X}$是$S_M$上的最接近$X$的点，ML估计算法就是返回该曲面上离$X$最近的点的算法，把这个ML估计为$\hat{X}$($X$到切平面上的垂足)，残差则是点$X$到估计值$\hat{X}$的距离，而$\hat{X}$到$\bar{X}$的距离是最佳估计值到真值的距离。

N维高斯分布的总方差是协方差矩阵的迹，即在每一个轴方向的方差的和；给定定义在IR^N上的总方差是$N{\sigma }^2$而均值是真值点$\bar{X}$的各向同性高斯随机变量(独立)，ML残差是该随机变量到过$\bar{X}$的超平面(维数$d$)的距离的期望值，IR^N上的该高斯随机变量到$d$维切平面的投影给出了估计误差的分布，而到该切平面的$(N-d)$维的法曲面的投影给出残差的分布；IR^N上总方差为$N{\sigma }^2$的各向同性高斯分布向一个$s$维子空间的投影是总方差为$s\sigma$的各向同性高斯分布。

• ML估计算法的RMS残差(测量值到估计值的距离)：
  $${\epsilon }_{res}=E[||\hat{X}-X||/N{]}^{1/2}=\sigma (1-d/N{)}^{1/2}$$
• ML估计算法的RMS估计误差(估计值到真值的距离)：
  $${\epsilon }_{est}=E[||\hat{X}-\bar{X}||/N{]}^{1/2}=\sigma (d/N{)}^{1/2}$$
  

4.1.4 Determining the correct convergence of an algorithm

• Pythagorean:
  $$||X-\bar{X}|{|}^2=||X-\hat{X}|{|}^2+||\bar{X}-\hat{X}|{|}^2$$
  In evaluating an algorithm with synthetic data, this equality allows a simple test to see whether the algorithm has converged to the optimal value.

4.2 变化估计的协方差

变换估计的不可靠性取决与许多因素，包括用于计算的点数、给定的匹配点的准确度以及点的配置，不可靠性通常由变换的协方差矩阵获取。

4.2.1 Forward propagation of covariance

协方差矩阵在仿射变换下的简单性质：令$\text{v}$是IR^M中的一个具有均值$\bar{\text{v}}$和协方差矩阵$\Sigma$的随机矢量，假定$f:I{R}^M\to I{R}^N$是一个仿射映射，定义为$f(\text{v})=f(\bar{\text{v}})+A(\text{v}-\bar{\text{v}})$，那么$f(\text{v})$是一个具有均值$f(\bar{\text{v}})$和协方差矩阵$A\Sigma A^{\top }$的随机变量。

• 非线性传播：
  $$f(\text{v})\approx f(\bar{\text{v}})+J(\text{v}-\bar{\text{v}})$$
  令$\text{v}$是IR^M中的一个具有均值$\bar{\text{v}}$和协方差矩阵$\Sigma$的随机矢量，假定$f:I{R}^M\to I{R}^N$在$\bar{\text{v}}$的邻域内可微，那么在精确到一阶近似的程度下，$f(\text{v})$是一个具有均值$f(\bar{\text{v}})$和协方差矩阵$J\Sigma J^{\top }$的随机变量，其中$J$是$f$的雅可比矩阵在$\bar{\text{v}}$的值。
  $$f(x,y)=a{x}^2+bxy+c{y}^2+dx+ey+f$$
  均值=$a{\sigma }_x^2+c{\sigma }_y^2+f$，方差=$2a^2{\sigma }_x^4+b^2{\sigma }_x^2{\sigma }_y^2+2c^2{\sigma }_y^4+d^2{\sigma }_x^2+e^2{\sigma }_y^2$

4.2.2 Backward propagation of covariance

• 协方差的反向输送——仿射情形：
  令$f:I{R}^M\to I{R}^N$是形为$f(P)=f(\bar{P})+J(P-\bar{P})$的仿射映射，其中$J$的秩等于$M$，令$X$是IR^N中的一个具有均值$\bar{X}=f(\bar{P})$和协方差矩阵$\Sigma$的随机变量，令$f^{-1}o\eta (X)$是一个具有均值$\bar{P}$的随机变量，其协方差矩阵是${\Sigma }_P=(J^{\top }{\Sigma }_X^{-1}J{)}^{-1}$，当$f$不是仿射映射时，可以通过通常途径用一个仿射函数逼近$f$来获得均值和方差的近似。
  $$||X-\hat{X}|{|}_{\Sigma }=||X-f(\hat{P})|{|}_{\Sigma }=||(X-\hat{X})-J(\hat{P}-\bar{P})|{|}_{\Sigma }$$
  在$(\hat{P}-\bar{P})=(J^{\top }{\Sigma }^{-1}J{)}^{-1}{J}^{\top }{\Sigma }^{-1}(X-\bar{X})$时被最小化，$\bar{P}=f^{-1}\bar{X}$和$\hat{P}=f^{-1}\hat{X}$；
  $$f^{-1}o\eta (X)=\hat{P}=(J^{\top }{\Sigma }^{-1}J{)}^{-1}{J}^{\top }{\Sigma }^{-1}(X-\bar{X})+f^{-1}o\eta (\bar{X})$$

4.2.3 Over-parametrization

超参数$f(P)\sim f(kP)$情况下，${\Sigma }_P=(J^{\top }{\Sigma }_X^{-1}J{)}^{-1}$的秩$d$(本质参数数)小于维数$M$不可逆，通过$||P||=1$等约束将被估计矢量固定在某个特定的子流行上。

• 协方差的反向输送——超参数化情形：
  令$f:I{R}^M\to I{R}^N$是一个可微映射，它把一组参数$\bar{P}$映射到测量矢量$\bar{X}$，令$S_P$是嵌入IR^M中过点$\bar{P}$的$d$维光滑流形并使得映射$f$在流形$S_P$上$\bar{P}$的一个邻域内是一一对应的，$f$把$S_P$局域地映射到IR^N上的流形$f(S_P)$，函数$f$有一个局部逆函数$f^{-1}$，它限制在曲面$f(S_P)$上$\bar{X}$的一个邻域内，定义IR^N上的一个具有均值$\bar{X}$和协方差${\Sigma }_X$的高斯分布，并令$\eta :I{R}^N\to f(S_P)$把IR^N上的点映射到$f(S_P)$上并在Mahalanobis范数意义下最近的点，IR^N上具有协方差矩阵${\Sigma }_X$的概率分布通过$f^{-1}o\eta$诱导IR^M上的概率分布，它在一阶精度下的协方差矩阵是${\Sigma }_P=(J^{\top }{\Sigma }_X^{-1}J{)}^{+A}$，其中$A$是任意$m\times d$矩阵，它的列矢量生成$S_P$的过点$\bar{P}$的切空间(参数空间的约束子空间)。
  
  令可微映射$f:I{R}^M\to I{R}^N$把$\bar{P}$映射到$\bar{X}$，并令$J$为$f$的雅可比矩阵，设IR^N上一个具有协方差矩阵${\Sigma }_X$的高斯分布定义在$\bar{X}$，同时$f^{-1}o\eta :I{R}^N\to I{R}^M$是把一个测量$X$映到约束在局部正交于$J$的零空间的曲面$S_P$上的MLE参数矢量$P$的映射，那么$f^{-1}o\eta$诱导在IR^M上的一个分布，它的协方差矩阵在一阶精度下是${\Sigma }_P=(J^{\top }{\Sigma }_X^{-1}J{)}^{+}$。(齐次矢量)

4.2.4 Application and examples

计算一个被估计的变换的协方差矩阵的过程如下：
(1) 由给定数据计算变换$\hat{H}$；
(2) 计算雅可比矩阵$J_f=\partial X^{\prime }/\partial \text{h}$在$\hat{\text{h}}$处的值；
(3) 估计$\text{h}$的协方差矩阵${\Sigma }_{\text{h}}=(J_f^{\top }{\Sigma }_{X^{\prime }}^{-1}{J}_f{)}^{+}$；
利用Householder矩阵可以确定约束曲面的切平面，$Ah=0$。

4.2.5 Error in both images

$$J^{\top }{\Sigma }_X^{-1}J=\left[\begin{array}{ccc}{A}^{\top }{\Sigma }_X^{-1}A& & A^{\top }{\Sigma }_X^{-1}B\\ B^{\top }{\Sigma }_X^{-1}A& & B^{\top }{\Sigma }_X^{-1}B\end{array}\right]$$

4.2.6 Using the covariance matrix in point transfer

由$H$的协方差矩阵可以计算点转移中的不可靠性：
$${\Sigma }_{{\text{x}}^{\prime }}=J_{\text{h}}{\Sigma }_{\text{h}}{J}_{\text{h}}^{\top }，J_{\text{h}}=\partial {\text{x}}^{\prime }/\partial \text{h}$$
$${\Sigma }_{{\text{x}}^{\prime }}=J_{\text{h}}{\Sigma }_{\text{h}}{J}_{\text{h}}^{\top }+J_{\text{x}}{\Sigma }_{\text{x}}{J}_{\text{x}}^{\top }，J_{\text{x}}=\partial {\text{x}}^{\prime }/\partial \text{x}$$
点转移的RMS不可靠性等于$\sqrt{trace({\Sigma }_{{\text{x}}^{\prime }})}=({\sigma }_{x^{\prime }{x}^{\prime }}+{\sigma }_{y^{\prime }{y}^{\prime }})$，取决于径向距离$r$。

4.3 协方差估计的蒙特卡洛法

当真值不存在时，可以用估计值当作匹配数据点和变换真值来计算协方差，假定数据点的真值与被估计值非常接近。

4.4 总结

1. 利用数据的协方差矩阵，可以推导出模型残差和估计误差；
2. 根据数据的协方差矩阵，结合协方差正向及反向传播原理计算模型协方差矩阵，用来评测变换估计的不可靠性。