多视图几何 本质矩阵与基本矩阵

本文旨在明晰本质矩阵与基本矩阵的概念，以及具体的计算方法。

预备知识：

• 对极几何，可以参考多视图几何相关书籍。
• 平面表示方式: 给定平面过一点$a$以及平面上的任一点$x$，以及其法向量$n$，平面可以写成
  $$(x-a)n=0$$
• 叉乘与反对称矩阵的关系，下式中，$A$代表向量$a$对应的反对称矩阵：
  $$a\times b=Ab$$

一. 本质矩阵
Essential Matrix

1. 几何解释：多视图系统中，用于描述不同相机之间位姿关系 (外参) 的矩阵. 当图像投影到归一化平面之后，用E矩阵表达对极约束。

2. 定义：
   现以左相机坐标系为参考坐标，其中有一点$P_l$，右相机相对于左相机的位姿关系为$[R,T]$，并且$P_l$点在右相机坐标系中的表示为$P_r$（从世界坐标系来看，表示的同一点）.

   根据坐标系的变换关系，可以找到右相机坐标系中的点
   $$P_r=R(P_l-T)$$
   此时，考虑到对极平面过$P_l$与右相机中心$T$, 有这两个向量（点用向量表示出来），求出平面的法向量
   $$n=P_l\times T$$
   将$P_l$与$T$带入平面方程，由此可以构建平面：
   $$(P_l-T{)}^T(T\times P_l)=0$$
   从上面的式子，看到了$(P_l-T)$的结构，为了关联$P_l$与$P_r$，我们用$P_l$表示出$P_r$, 将叉乘表示为反对称矩阵S，并代入上式:
   $$(R^{-1}{P}_r{)}^{T}S{P}_l=0$$
   注意旋转矩阵R的转置与逆相等，稍加整理：
   $$P_r^{T}RS{P}_l=0$$
   此时，我们用令矩阵$E=RS$，也就得到了
   $$P_r^{T}E{P}_l=0$$
   当然了，如果我们想对应到图像平面（归一化平面)，只需要找到图像平面上的坐标与世界坐标的关系$p_l=P_l{f}_l/Z_l$, $p_r=P_r{f}_r/Z_r$ ,带入上式，即可得
   $$p_r^{T}E{p}_l=0$$
   到此，我们就很清楚基本矩阵的来源了。

3. 本质矩阵的性质

   有5个参数，3个决定旋转，2个决定平移（无法确定尺度）
   秩为2，行列式为0
   两个非零奇异值是相等的，因为其中的反对称矩阵与旋转矩阵

4. 具体计算

   根据上面的理论知识，我们知道基本矩阵描述的是两个相机坐标系下点的几何约束关系. 分别可以用3D坐标系下的$P_i$和归一化平面上的点$p_i$表示.

   实际求解时，我们会根据相机内参以及匹配好的特征点找到归一化平面上的对应点$p$, 并由多对匹配点构造线性方程组进行求解. (参考SLAM14讲)

   opencv API：cvFindEssentialMat

二. 基础矩阵
Fundamental Matrix

1. 用途

   描述多相机拍摄到的图像像素之间的变换关系，相比于本质矩阵$E$，包含相机内参. 能够将一个像素点映射为另一个图像上的的一条线，也就是所谓对极线

2. 定义
   如果已经理解本质矩阵$E$的定义，我们很容易通过加入相机内参得到基础矩阵$F$. 设$M$为相机内参，$q$为像素点，则有$q=Mp$, 也就是$p=M^{-1}q$,带入基本矩阵中，可得
   $$q_r^T(M_r^{-1}{)}^{T}E{M}_l^{-1}{q}_l=0$$

   简洁起见，令$F=(M_r^{-1}{)}^{T}E{M}_l^{-1}$
   也即
   $$q_r^{T}F{q}_l=0$$

   以上，明确了基础矩阵$F$.

3. 基础矩阵的性质

4. 具体计算

   opencv API：cvFindFundamentalMat

---

参考&致谢：
learning opencv