[计算机视觉多视图几何] -- 对极几何约束（理论）

对极几何约束

---

---

前言

一、理论推导

这部分将讲解计算帧与帧之间相机相应位姿及特征点三维坐标。

$M$为观测对象，定义$C$为左视图的相机中心，$C^{\prime }$为右视图的相机中心，由$MC{C}^{\prime }$构成一个$\pi$平面；其中$C{C}^{\prime }$为基线，$l_1$为左视图的极线，$l_2$为右视图的极线，$e_1$为基线与左视图的交点，称为极点，同理$e_2$为右视图的极点；

• 找$M_1与M_2$之间关系

设左右视图的投影矩阵分别为$P$与$P^{\prime }$，内参矩阵为$K$与$K^{\prime }$，左视图坐标系为世界坐标系。$R、t$分别为左视图坐标系到右视图坐标系的旋转矩阵和平移向量，$M$在左视图投影为$M_1$，在右视图投影为$M_2$，齐次坐标为$\hat{M_1}、\hat{M_2} $所以有：
$$\widehat{{\mathbf{M}}_1}\sim \mathbf{K}[\mathbf{I}|0]\hat{\mathbf{M}}$$

$$\widehat{{\mathbf{M}}_2}\sim {\mathbf{K}}^{\prime }[\mathbf{R}|\mathbf{t}]\hat{\mathbf{M}}$$

由于，$C$是相机中心，$M_{1}M$直线上所有点在左视图的投影都为$M_1$，$P$是一个3*4的矩阵，$rank(P)=3$，具有广义逆，记作$P^{+}$，$P^{+}=P^T(P{P}^T{)}^{-1}$, 所以：
$$\hat{\mathbf{M}}=s{\mathbf{P}}^{+}\widehat{{\mathbf{M}}_1}+\mathbf{C}$$

$$\mathbf{P}\hat{\mathbf{M}}=s\widehat{{\mathbf{M}}_1}$$

同理，设$H=P^{\prime }{P}^{+}$
$$\widehat{{\mathbf{M}}_2}\sim {\mathbf{P}}^{\prime }\hat{\mathbf{M}}=s{\mathbf{P}}^{\prime }{\mathbf{P}}^{+}\widehat{{\mathbf{M}}_1}+{\mathbf{P}}^{\prime }\mathbf{C}=s\mathbf{H}\widehat{{\mathbf{M}}_1}+{\mathbf{e}}_2$$
即找到$M_1与M_2$之间的关系；

• 几何约束

$M_1和M_2$对应的极线为$l_1$和$l_2$，$e_2$和$M_2$经过极线$l_2$，所以：
$${\widehat{{\mathbf{M}}_1}}^T{\mathbf{l}}_1=0$$

$${\widehat{{\mathbf{M}}_2}}^T{\mathbf{l}}_2=0$$

l 2 = e 2 × M 2 ^ \boldsymbol l_2