【立体视觉】单应矩阵H、本质矩阵E和基本矩阵F

参考：
基本矩阵、本质矩阵和单应矩阵
单应矩阵 基本矩阵 本质矩阵的区别与联系
单应矩阵，基本矩阵，本质矩阵
本质矩阵和基础矩阵的区别是什么？

单应矩阵H

本征矩阵E

对极几何在双目问题中非常的重要，可以简化立体匹配等问题，而要应用对极几何去解决问题，比如求极线，需要知道本征矩阵或者基础矩阵，因此双目标定过程中也会把本征矩阵和基础矩阵算出来。

本征矩阵常用字母E来表示，其物理意义是左右图像坐标系相互转换的矩阵，描述的是同一空间点投影在左右摄像机图像平面上对应点之间的关系，单位为mm。

假设空间中有一点P，其在世界坐标系下的坐标为$P_{W}$，其在左右摄像机坐标系下的坐标为$P_{C_l}$和$P_{C_r}$，右摄像机坐标系原点在左摄像机坐标系的坐标为$T_{r}=[T_{x},T_{y},T_{z}]^{T}$，则有：

$$P_{C_r}=R(P_{C_l}-T_{r})$$

则通过点$T_{r}$的所有点所组成的平面（即极面）可以用下式表示：

$$(P_{C_l}−T_{r})^{T}(P_{C_l}×T_{r})=0$$

将$P_{C_l}×T_{r}$写成矩阵相乘的形式：

$$P_{C_l}×T_{r}=SP_{C_l}$$

其中S为：

$$S=\begin{bmatrix} 0& -T_{z} & T_{y}\\ T_{z}& 0& -T_{x} \\ -T_{y}& T_{x} & 0 \end{bmatrix}$$

综合上式可得：

$$P_{C_r}^{T}RSP_{C_l}=0$$

乘积RS即为本征矩阵E，令E=RS，得到：

$$P_{C_r}^{T}EP_{C_l}=0$$
描述了同一物理点在左右摄像机图像平面上投影在相机坐标系下的关系。

基础矩阵F

双目系统中，常常只对像素坐标系下的坐标感兴趣，所以给本征矩阵E加上相机内参数矩阵K的相关信息，就可得到描述同一空间点在左右摄像机图像平面上的投影在像素坐标系下的关系，单位为pix。

像素坐标系与相机坐标系的关系：$P_{pix}=KP_{C}$

$$\left\{\begin{matrix} P_{pix}=KP_{C}\\ \\ P_{C_r}^{T}EP_{C_l}=0 \end{matrix}\right.$$
得到：
$$P_{pix_r}^{T}(K_{r}^{-1})^{T}EK_{l}^{-1}P_{pix_l}=0$$

由此可将基础矩阵F定义为：

$$F=(K_{r}^{-1})^{T}EK_{l}^{-1}$$

最终得到同一物理点在左右摄像机图像平面上投影在像素坐标系下的关系：

$$P_{pix_r}^{T}FP_{pix_l}=0$$