对极几何之基础矩阵和本质矩阵

一、理解Epipolar Geometry的关键在于掌握下面的几个点：

1. 在射影几何中，要通过两个不同的点求连接这两点的直线，两点作叉乘即可。当然由于Duality的存在，要通过两条直线求他们相交于哪一点，同样两线作叉乘即可。
2. 相机的成像原理是将一个三维的点按照小孔成像的原理投影到了二维平面上，那么其逆过程（通过二维平面的点估计三维点的位置）必然会带来一个不确定量。这个不确定的量就是深度，更准确地说，是小孔和三维点之间的距离。
3. CV中引入Epipolar Geometry的目的是为了研究从不同的相机看世界中的同一个点，在两个视平面上的点应该满足什么样的关系。通过1和2我们会知道这个关系是（相机1中的）点对应（相机2中的）线的关系。通过这个关系，我们之后可以进一步使用三角定位来找出三维世界中的点在哪里。

几点解释：

• 射影几何中的2D点如何表示？ $\hat{\mathbf{x}}=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$
• 射影几何中的线如何表示？ $\mathbf{l}=\left[\begin{array}{c}a\\ b\\ c\end{array}\right]$ ，这其中隐含的表示是一个直线方程 $ax+by+c=0$
• 如何表示点在线上？ ${\hat{\mathbf{x}}}^T\mathbf{l}=au+bv+c=0$
  假定现在有另外一个点${\hat{\mathbf{x}}}^{\prime }=\left[\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ 1\end{array}\right]$也在线上，则
  $${\hat{\mathbf{x}}}^{{}^{\prime }T}\mathbf{l}=a{u}^{\prime }+b{v}^{\prime }+c=0$$
  联立方程如何求解这条直线？叉乘咯!!!
  $$\mathbf{l}=\hat{\mathbf{x}}\times {\hat{\mathbf{x}}}^{\prime }$$

二、本质矩阵（Essential matrix）和基础矩阵（Fundamental matrix）

• 本质矩阵E：描述空间点P在两个相机的相机坐标系下的关系，换言之，给定两个相机的相对位置关系，E即被确定。
  假设P在$O_1,O_2$坐标系下坐标为$P_1,P_2$,刚体变换关系为$$P_2=R{P}_1+T$$ 可得$$T\times P_2=T\times R{P}_1+T\times T=T\times R{P}_1$$
  其中$T\times P_2$为极平面的法向量,因此与$P_2$点乘为0
  $$P_2\cdot (T\times P_2)=P_2\cdot (T\times R{P}_1)=0$$
  写成矩阵相乘的形式$$P_2^T{T}^{\wedge }R{P}_1=0$$$$P_2^{T}E{P}_1=0$$$P_1和P_2$也可以是归一化的坐标${\bar{x}}_1=\left[\begin{array}{c}{x}_1\\ y_1\\ z_1\end{array}\right],{\bar{x}}_2=\left[\begin{array}{c}{x}_2\\ y_2\\ z_2\end{array}\right]$
  其中$T^{\wedge }$为向量$T$的反对称阵$$T=\left[\begin{array}{ccc}0& -T_3& T_2\\ T_3& 0& -T_1\\ -T_2& T_1& 0\end{array}\right]$$
  所以$$E=T^{\wedge }R$$
• 基础矩阵F：描述空间点P在两个相机成像的各自的图像像素坐标系下的关系，换言之，给定了两个相机的相对位置关系和相机内参，F即被确定。
  $x_1和x_2$为像素坐标，设$K_1,K_2$分别为其相机内参数，则$$x_1=K_1{P}_1$$$$x_2=K_2{P}_2$$将$P_1,P_2$带入上面的本质矩阵中得到$$(K_2^{-1}{x}_2{)}^{T}E(K_1^{-1}{x}_1)=0$$
  $$x_2^T((K_2^{-1}{)}^{T}E(K_1^{-1}))x_1=0$$
  $$x_2^{T}F{x}_1=0$$
  $$F=(K_2^{-1}{)}^{T}E(K_1^{-1})$$
  终于算是捋明白了