对极约束 基础矩阵

向量的叉积， 反对称矩阵

在射影几何中，一条直线有两点确定， $l^{{}^{\prime }}=e^{{}^{\prime }}\times x^{{}^{\prime }}$设两个向量$\vec{a}$, $\vec{b}$,则这两个的向量叉积任然是一个向量，并且垂直于这两个向量所在的平面。用坐标表示如下：
$$\vec{a}\times \vec{b}=\left[\begin{array}{ccc}0& -z_1& y_1\\ z_1& 0& \\ -y_x& x_1& 0\end{array}\right]\left[\begin{array}{c}{x}_2\\ y_2\\ z_2\end{array}\right]=(\vec{a}\times )\cdot \vec{b}$$
其中$\vec{a}\times$称为向量$\vec{a}$的反对称矩阵，向量叉积可以用矩阵乘法表示

基础矩阵F的推导

设第一个相机作为坐标系， 三维空间中的一点$P=[X,Y,Z]$， 其中在两个相机的像点分别为$p_1,p_2$。由于第一个相机的中心作为世界坐标系的原点， 第二个相机平移$t$, 旋转$R$，则有
$$p_1=K_1\ast P$$

公式1 $K1$ 为相机内参

$$p_2=K_2(RP+t)$$

公式2 $K_2$为相机内参

由于$p_1=K_{1}P$ 可以得到$P=K_1^{-1}{p}_1$ 将其带入公式2中得到：
$$p_2=K_2(R{K}_1^{-1}{p}_1)$$
同时两边左乘$K_2^{-1}$得到
$$K_2^{-1}{p}_2=K_2^{-1}\ast K_2(R\ast K_1^{-1}p1+t)$$

公式3 可以另 $K_2^{-1}p2=x_2$, $K_1^{-1}\ast p1=x1$且$K\ast K^{-1}=I$

所以公式3可以写作:
$$x_2=R\ast x_1+t$$

公式4 两边同时左乘以t的反对称矩阵$t\times$ ,由于$t\times t=0$
公式4可以改写为：

$$t\times x_2=t\times R{x}_1$$
再同左乘以$x_2^T$

$$x_2^{T}t\times x_2=x_2^{T}t\times R{x}_1$$
由于$t\times x_2$是向量$t$和向量$x_2$的叉积， 同时垂直于向量$t$和向量$x_2$,所以上式左边等于0 得到:
$$x_2^{T}t\times R{x}_1=0$$

公式5, $E=t\times R$为本质矩阵， 其和基础矩阵相差相机的内参K, 将其带入可得基础矩阵

$$p{2}^T{K}_2^{T}t\times R{K}_1^{-1}p1=0$$
$$p_2^{T}F{p}_1=0$$
其中基础矩阵$K_2^{T}t\times R{K}_1^{-1}$

估计基础矩阵

通过匹配点对估算基础矩阵

基础矩阵F是一个$3\times 3$矩阵， 有9个未知数，然而公式中使用齐次坐标，齐次坐标在相差一个常数因子下是相等的，所以F有8个未知数， 也就是只需8对匹配点就可以解出基础矩阵，
假设一对匹配像点$p_1=[u_1,v_1,1]$ , $p_2=[u_2,v_2,1]$带入式中得到:
$$[u_1,v_1,1]\left[\begin{array}{ccc}{f}_1& f_2& f_3\\ f_4& f_5& f_6\\ f_7& f_8& f_9\end{array}\right]\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=0$$
将基础矩阵当作一个向量$f=[f_1,f_2,f_3,f_4,f_5,f_6,f_7,f_8]$处理可以将上式变形为:
$$[u_1{u}_2,u_1{u}_2,u_1,v_1{u}_2,v_1{v}_2,v_1,u_2,v_2,1]f=0$$

求解上面的方程组就可以得到基础矩阵各个元素了。当然这只是理想中的情况，由于噪声、数值的舍入误差和错误的匹配点的影响，仅仅求解上面的线性方程组得到的基础矩阵非常的不稳定，因此在8点法的基础上有各种改进方法。

图像坐标归一化 Normalizing transformation
将上面公式中由匹配的点对坐标组成的矩阵记为系数矩阵$Af=0$

void Initializer::Normalize(const vector<cv::KeyPoint> &vKeys, vector<cv::Point2f> &vNormalizedPoints, cv::Mat &T)
{
    float meanX = 0;
    float meanY = 0;
    const int N = vKeys.size();

    vNormalizedPoints.resize(N);

    for(int i=0; i<N; i++)
    {
        meanX += vKeys[i].pt.x;
        meanY += vKeys[i].pt.y;
    }

    meanX = meanX/N;
    meanY = meanY/N;

    float meanDevX = 0;
    float meanDevY = 0;

    for(int i=0; i<N; i++)
    {
        vNormalizedPoints[i].x = vKeys[i].pt.x - meanX;
        vNormalizedPoints[i].y = vKeys[i].pt.y - meanY;

        meanDevX += abs(vNormalizedPoints[i].x);
        meanDevY += abs(vNormalizedPoints[i].y);
    }

    meanDevX = meanDevX/N;
    meanDevY = meanDevY/N;

    float sX = 1.0/meanDevX;
    float sY = 1.0/meanDevY;

    for(int i=0; i<N; i++)
    {
        vNormalizedPoints[i].x = vNormalizedPoints[i].x * sX;
        vNormalizedPoints[i].y = vNormalizedPoints[i].y * sY;
    }

    T = cv::Mat::eye(3,3,CV_32F);
    T.at<float>(0,0) = sX;
    T.at<float>(1,1) = sY;
    T.at<float>(0,2) = -meanX*sX;
    T.at<float>(1,2) = -meanY*sY;
}

这样，首先对原始的图像坐标进行归一化处理，再利用8点法求解基础矩阵，最后将求得的结果解除归一化，得到基础矩阵F F，总结如下：

• 对图像1进行归一化处理，计算一个只包含平移和缩放的变换$H_1$, 将图像1中的匹配点集归一化
• 对图像2，计算变换矩阵$H_2$进行相同的归一化处理
• 使用8点法利用变换后的点集估计基础矩阵$\hat{F}$
• 根据变换$F=H_2^T\hat{F}{H}_1$

最小二乘化

仅仅对图像坐标进行归一化处理，能在一定程度上提高计算的精度，但在实践中还是不够的。8点法中，只使用8对匹配的点对估计基础矩阵，但通常两幅图像的匹配的点对远远多于8对，可以利用更多匹配的点对来求解上面的方程。由于基础矩阵$F$在一个常量因子下是等价的，这样可以给基础矩阵$F$的元素组成的向量$f$施加一个约束条件
$$\Vert \begin{array}{c}f\end{array}\Vert =1$$
这样由$K⩾8$个匹配点对组合成一个矩阵$Q_{K\times 9}$，求解上面方程就变成求解如下问题的最小二乘解:
$$\underset{||f||=1}{\min }||Qf|{|}^2$$
其中矩阵Q的每一行来自一对匹配点;$f$是基础矩阵$F$元素组成的待求解的向量，根据2范数定义
$$||Qf|{|}^2=(Qf{)}^T(Qf)=f^T(Q^{T}Q)f$$
将上式中间部分提出来得到矩阵$M={Ｑ}^{Ｔ}Ｑ$这是一个9,9矩阵，基于拉格朗日-欧拉乘数优化定理，在$||f||=1$约束下 $Qf=0$的最小二乘解为矩阵$M=Q^{T}Q$的最小特征向量，所以对矩阵$Q$进行奇异值分解（SVD）
$$Q=U\Sigma V^t$$
$Q$是$K\times 9$的矩阵， $U$是$K\times K$的正交矩阵， KaTeX parse error: Expected 'EOF', got '\SigmaS' at position 1: \̲S̲i̲g̲m̲a̲S̲ ̲是K \times 9$的矩阵， $V^T$是$9\times 9$的正交矩阵， 每一个列向量对应着$\Sigma$的奇异值，所以最小二乘解就是 $V^T$的第9列向量也就是可由$f=V_9$构造基础矩阵$F$。基础矩阵$F$还有一个重要性质， 为其秩为2
$$Rank(F)=2$$列向量$V_9$构造的基础矩阵 秩通常不为2，需要进一步优化，在估计基础矩阵时，设其最小奇异值为0， 对上面的方法取得的基础矩阵进行SVD分解
$$F=SVD=S\left[\begin{array}{ccc}{v}_1& 0& 0\\ 0& v_2& 0\\ 0& 0& v_3\end{array}\right]D$$
其最小特征值$v_3$设为0 从而使得$F$的秩为2，这样得到
$$F=SVD=S\left[\begin{array}{ccc}{v}_1& 0& 0\\ 0& v_2& 0\\ 0& 0& 0\end{array}\right]D$$
对上述进行总结

• 对两幅图像的匹配点进行归一化转换矩阵$H_1,H_2$
• 有对应的点构造矩阵$Q$
• 对矩阵$Q$进行SVD分解， $Q=U\Sigma V^T$，由向量$f=V_9$构造矩阵$\hat{F}$
• 对得到的基础矩阵进行秩为2约束，即得其SVD分解，另$v_3=0$再重构得到基础矩阵$F^{{}^{\prime }}$
• 对上一步得到的基础矩阵反归一化，得到基础矩阵$F=H_2^T{F}^{{}^{\prime }}{H}_1$