H(单应矩阵homography)，本质矩阵（Essential Matrix）和F(基础矩阵fundamental)

$Ax=0$ 问题的求解

求解问题：

拉格朗日乘子方程:
$$L(x,\lambda )=x^T{A}^{T}Ax+\lambda (1-x^{T}x)$$
我们分别对$x$和$\lambda$求偏导数：

整理得：
$$A^{T}Ax=\lambda x,x^{T}x=1$$
由上式可知：$x$为$A^{T}A$的特征向量，且模长为1。
将A进行SVD分解：
$$A=U\mathrm{\Sigma }{V}^T,A^{T}A=V{\mathrm{\Sigma }}^T{U}^{T}U\mathrm{\Sigma }{V}^T=V{\Sigma }^T\Sigma V^T$$
可知：$V$为$A^{T}A$特征向量矩阵
$$||Ax|{|}^2=x^T{A}^{T}Ax=x^T\lambda x=\lambda x^{T}x=\lambda$$
从而可知，当$x$值为$A^{T}A$的特征向量，$||Ax|{|}^2$的值为对应的特征值。

因此$||Ax|{|}^2={\lambda }_{min}$，$x$为${\lambda }_{min}$对应$A^{T}A$的特征向量。

在使用Eigen等库调用SVD接口时，一般会将奇异值按照从大到小的顺序排列，
因此问题的解x为V的最后一列。解的有效性条件，对应的${\mathbf{\lambda }}_{min}$非常接近于0
1）直接对A进行SVD分解，奇异值最小对应的V的列为解值。
2）对$A^{T}A$进行SVD分解(相当于三角化)，最小特征值对应的特征向量为解值。

H(单应矩阵homography)，本质矩阵（Essential Matrix）和F(基础矩阵fundamental)

H矩阵适用于：1）特征点位于平面上；2）纯旋转，使用Faugeras 和 Lustman方法通过H阵解算出8种可能的$(R，t)$
F使用于普通场景(非平面场景)，但是从E/F中解算位姿有四种可能性，且不适用于低视差的场景。
因此单应矩阵H可以更好的应用于低视差(接近纯旋转)的场景下。而当平移接近零时，E和F阵则接近零($E=t^{\wedge }R,F=K^{-T}E{K}^{-1}$)，很难从其中分离得到$R$。
H阵中R与t是线性加和关系，而E和F中的$(R，t)$是乘积关系，因此当t很小时，从E、F很难恢复出R和，而使用H阵，可以解算出$R$，从而得到 $t$。

单应矩阵

【单应矩阵H】表征图像像素点之间的关系，即也反映【空间一点P】在【不同视角相机】下的【图像坐标】之间的关系。
使用条件是：
1）图像点对应的空间坐标处于同一平面；
2）两个图像对应相机坐标系只有旋转差（即两个相机的坐标系原点一致，或者同一相机经过旋转后得到的前后两张图像）。也即低视差场景。

设相机1与2是经过运动之后的不同的相机状态。

空间点P在相机1下的图像坐标为：

空间点P在相机1坐标系下对应的空间坐标为：

空间点P在相机2下的图像坐标为：

空间点P在相机2坐标系下的表示为：

相机1与相机2之间的运动表述为$R,T$，则$X_1$与$X_2$之间的关系为$$X_2=R{X}_1+T$$
像素坐标与空间坐标之间的关系为：
$$x_1=\frac{1}{z_1}K{X}_1\to X_1=z_1{K}^{-1}{x}_1$$ $$x_2=\frac{1}{z_2}K{X}_2\to X_2=z_2{K}^{-1}{x}_2$$

1）平面场景
设平面在相机1坐标系下的表示为：$n,d$，即平面方程为 $$n^{T}x=d$$
示意图如下：

$X_1$ 满足上述公式： $n^T{X}_1=d\to \frac{1}{d}{n}^T{z}_1{K}^{-1}{x}_1=1$
要求的结果形式：$x_2=H{x}_1$.
$$X_2=R{X}_1+t$$ $$z_2{K}^{-1}{x}_2=R{z}_1{K}^{-1}{x}_1+\frac{t}{d}{n}^T{z}_1{K}^{-1}{x}_1$$
整理得：
$$x_2=\frac{z_1}{z_2}K\left(R+\frac{t}{d}{n}^T\right)K^{-1}x1$$
得：
$$H=\frac{z_1}{z_2}K\left(R+\frac{t}{d}{n}^T\right)K^{-1}$$
2）纯旋转：
相机1与相机2之间的运动表述为$（R,0）$，则$X_1$与$X_2$之间的关系为：
$$X_2=R{X}_1⟹z_2{K}^{-1}{x}_2=R{z}_1{K}^{-1}{x}_1⟹x_2=\frac{z_1}{z_2}KR{K}^{-1}{x}_1$$ $$⟹x_2=H{x}_1,H=\frac{z_1}{z_2}KR{K}^{-1}$$

求解H步骤

$$x_2=H{x}_1$$

图像齐次坐标引出尺度不变性，即：3维齐次坐标乘以非0常数，仍表示相同的二维坐标.

左右两侧同时叉乘$x_2$，将上式化为齐次方程：
$$x_2\times H{x}_1=0$$
写成矩阵形式：

可化为：

写成齐次形式：

可转化为$AH=0$的形式：

可知一对点提供两个约束等式，单应矩阵9个元素，但由于齐次坐标的尺度不变性（$H，cH$（$c$为非0常数）都代表同样的变换），则设立额外的条件方程：$||H|{|}^2=1$，从而H矩阵只具有8个自由度，需4对点可求唯一解。

求解问题化为$x$指代$H$：

从而利用解法求解H矩阵。

ORB-SLAM求解H阵代码：

src/Initializer.cc cv::Mat Initializer::ComputeH21

A.at<float>(2*i,0) = 0.0;
A.at<float>(2*i,1) = 0.0;
A.at<float>(2*i,2) = 0.0;
A.at<float>(2*i,3) = -u1;
A.at<float>(2*i,4) = -v1;
A.at<float>(2*i,5) = -1;
A.at<float>(2*i,6) = v2*u1;
A.at<float>(2*i,7) = v2*v1;
A.at<float>(2*i,8) = v2;
 
A.at<float>(2*i+1,0) = u1;
A.at<float>(2*i+1,1) = v1;
A.at<float>(2*i+1,2) = 1;
A.at<float>(2*i+1,3) = 0.0;
A.at<float>(2*i+1,4) = 0.0;
A.at<float>(2*i+1,5) = 0.0;
A.at<float>(2*i+1,6) = -u2*u1;
A.at<float>(2*i+1,7) = -u2*v1;
A.at<float>(2*i+1,8) = -u2;

//SVD分解：w为奇异矩阵
cv::SVDecomp(A, w, u, vt, cv::SVD::MODIFY_A | cv::SVD::FULL_UV); 
// 返回最小奇异值所对应的右奇异向量
// 注意前面说的是右奇异值矩阵的最后一列，但是在这里因为是vt，转置后了，所以是行；A有9列数据，故最后一列的下标为8
return vt.row(8).reshape(0, 3);

H矩阵的其他应用

单应矩阵H用来表征图像像素点之间的关系，可用于拼接平面图像或者纯旋转相机所得图像。

以上图片来自http://www.cs.cmu.edu/~16385/lectures/lecture9.pdf

本质矩阵与基础矩阵

【本质矩阵E】反映【空间一点P】在【不同视角相机】下【相机坐标系】中的表示之间的关系。
空间点P在相机1坐标系下对应的空间坐标为：

空间点P在相机2坐标系下的表示为：

$X_1$和$X_2$的关系为：

【基础矩阵F】反映【空间一点P】在【不同视角相机】下的【图像坐标】之间的关系。
空间点P在相机1下的图像坐标为：

空间点P在相机2下的图像坐标为：

$x_1$和$x_2$关系为：

则可知，F矩阵也同时具备齐次矩阵的尺度不变性
则位姿的估计步骤为：

1. 根据配对点的像素位置，求出 E 或者 F；
2. 根据 E 或者 F，求出$R，t$。
   $$E=t^{\wedge }R,F=K^{-T}E{K}^{-1}$$

F基础矩阵求解

可化为：

转化为AF=0的形式：

F矩阵每对点只能提供一个约束，且齐次坐标下的F也具备尺度不变性，从而可以加设条件：$||F|{|}^2=1$，从而可以使用8对点完成F矩阵的求解。
另外由$E=t^{\wedge }R,F=K^{-T}E{K}^{-1}$可计算得知$rank(F)$为2，因而需要将上述求解到F矩阵的最小奇异值置为0，保证F的秩为2，得到最后的F。

求解方法同H阵。

使用SVD分解的方法求解$AX=0$方程：
$$A=UD{V}^T$$
$U$是左奇异向量，它是一个8x8的 正交矩阵，
$V$是右奇异向量，是一个 9x9 的正交矩阵，$V^T$是$V$的转置。
$D$是一个8 x 9 对角矩阵，除了对角线其他元素均为0，对角线元素称为奇异值，最小奇异值向量就是最优解(vt.row(8).reshape(0, 3))，设为$F_{pre}$。
要满足F矩阵秩为2的操作，需要再将$F_{pre}$进行SVD分解

将$F_{pre}$的最小奇异值${\sigma }_3$置为0：

此外，使用E/F获得$R，t$有以下四种可能：

ORB-SLAM求解H阵代码
src/Initializer.cc cv::Mat Initializer::ComputeF21

//构建A阵：
A.at<float>(i,0) = u2*u1;
A.at<float>(i,1) = u2*v1;
A.at<float>(i,2) = u2;
A.at<float>(i,3) = v2*u1;
A.at<float>(i,4) = v2*v1;
A.at<float>(i,5) = v2;
A.at<float>(i,6) = u1;
A.at<float>(i,7) = v1;
A.at<float>(i,8) = 1;

//SVD分解：w为奇异矩阵
cv::SVDecomp(A, w, u, vt,cv::SVD::MODIFY_A | cv::SVD::FULL_UV);
//得到Fpre
cv::Mat Fpre = vt.row(8).reshape(0, 3);
//置第三个特征值为0
cv::SVDecomp(Fpre,w,u,vt,cv::SVD::MODIFY_A | cv::SVD::FULL_UV);
w.at<float>(2)=0;
//重新组成F阵
return  u*cv::Mat::diag(w)*vt;

相关链接

E、F和H矩阵介绍
从H阵解算R，t