基本矩阵、本质矩阵和单应矩阵

最新推荐文章于 2024-08-02 11:17:36 发布

kokerf

最新推荐文章于 2024-08-02 11:17:36 发布

阅读量4.2w

点赞数 53

分类专栏：计算机视觉

本文链接：https://blog.csdn.net/kokerf/article/details/72191054

版权

计算机视觉专栏收录该内容

7 篇文章 11 订阅

订阅专栏

　　两幅视图存在两个关系：第一种，通过对极几何一幅图像上的点可以确定另外一幅图像上的一条直线；另外一种，通过上一种映射，一幅图像上的点可以确定另外一幅图像上的一个点，这个点是第一幅图像通过光心和图像点的射线与一个平面的交点在第二幅图像上的影像。第一种情况可以用基本矩阵来表示，第二种情况则用单应矩阵来表示。而本质矩阵则是基本矩阵的一种特殊情况，是在归一化图像坐标下的基本矩阵。

基本矩阵（Fundamental Matrix）

介绍

　　基本矩阵体现了两视图几何（对极几何，epipolar geometry）的内在射影几何（projective geometry）关系，基本矩阵只依赖于摄像机的内参 $K$ 和外参 $R,\mathbf t$ 。

上图是一个两视图的几何描述，其中 $O$ 、 $O'$ 是两个相机的光心，两点连线 $OO'$ 称为基线，基线与图像平面的交点 $\mathbf e$ 、 $\mathbf e'$ 称为对极点，其中 $l$ 、 $l'$ 分别是图像点 $\mathbf x'$ 、 $\mathbf x$ 对应的对极线。

上图的左侧相机的图像平面上的一个点 $x$ ，反向投影得到射线 $OX$ 。由于点的深度未知，图像平面上的点 $x$ 可能是射线上某一深度的3D点 $X$ 。而射线 $OX$ 在第二个相机的图像平面上的投影为 $l'$ 。也就是说，给定一对图像，第一幅图像上的每个点 $\mathbf x$ ，在另外一幅图像上存在一条直线 $l'$ 与之对应。换言之，第二幅图像上与点 $\mathbf x$ 对应的点 $\mathbf x'$ 必定在线 $l'$ 上。

我们可以看到这里存在一个从一副图像上的点到另外一幅图像与之对应的对极线的映射 $\mathbf x\rightarrow l'$ 。而基本矩阵就表示了这种从点到直线的射影映射关系。

几何推导

　　首先在几何层面对上述一个图像上的点到另外一个图像上的对极线的映射关系进行分析。可以把这个映射分成两个步骤：

点到平面的转移

　　存在一个不经过两个相机光心的的平面 $\mathbf\pi$ ，光心 $O$ 与 $x$ 的射线与平面 $\mathbf\pi$ 相交与一点 $X$ 。该点 $X$ 又投影到第二幅图像平面上的点 $\mathbf x'$ 。这个称为点 $x$ 通过平面 $\pi$ 的转移。点 $\mathbf x$ ， $\mathbf x'$ 是平面 $\mathbf\pi$ 上的3D点 $X$ 在两个相机平面上的像。对应每一个3D点 $X$ 都存在一个2D的单应 $H_\pi$ 把每一个 $\mathbf x$ 映射到 $\mathbf x'$ 。
对极线的构造

　　已知第二幅图像上的对应点 $\mathbf x'$ ，再加上对极点 $\mathbf e'$ 我们可以构造对极线 $l'=\mathbf e'\times \mathbf x'=[\mathbf e']_\times \mathbf x'$ （这里的 $[\mathbf e']_\times$ 是叉乘矩阵）。由于 $\mathbf x'$ 可以表示为 $\mathbf x'=H_\pi \mathbf x$ ，则有：

l' = [e'] \times H π x = F x

$l'=[\mathbf e']_\times H_\pi \mathbf x=F\mathbf x$

　　基本矩阵可以记作为 $F=[\mathbf e']_\times H_\mathbf\pi$ ，其中 $H_\pi$ 是一幅图像到另外一幅图像通过任意平面 $\mathbf\pi$ 的转移映射。因为 $[\mathbf e']_\times$ 的秩是2， $H_\mathbf\pi$ 的秩是3，因此 $F$ 是秩为2的矩阵。

　　从几何角度来讲，F矩阵表示了第一幅图像的2维射影平面 $\mathbb P^2$ 到通过对极点 $\mathbf e'$ 的对极线束的映射，是从2维到1维的射影空间的映射，因此秩为2。

代数推导

　　对于两个视图的射影矩阵 $P$ 、 $P'$ ，在矩阵 $P$ 的作用下，第一个视图中通过 $\mathbf x$ 和光心 $O$ 的射线可以由方程 $PX=\mathbf x$ 解出。给出的单参数簇解的形式为：

X (λ) = P + x + λ O

$X(\lambda)=P^+\mathbf x+\lambda O$
　　其中

P+ $P^+$ 是

P $P$ 的伪逆，即

P+P=I $P^+P=I$ ，

O $O$ 为相机的中心，即

P $P$ 的零矢量并且定义为

PO=0 $PO=0$ 。这条射线由点

P+x $P^+\mathbf x$ 和点

O $O$ 决定，这两点在第二幅图像上的投影分别为点

P′P+x $P'P^+\mathbf x$ 和点

P′O $P'O$ 。而对极线则是连接这两点的直线，即

l′=(P′O)×(P′P+x) $l'=(P'O) \times (P'P^+\mathbf x)$ ，点

P′O $P'O$ 也就是在第二幅图像上的对极点

e′ $\mathbf e'$ 。也可以记为

l′=[e′]×(P′P+)x=Fx $l'=[\mathbf e']_\times (P'P^+)\mathbf x=F\mathbf x$ ，这里的

F $F$ 就是基本矩阵：

F = [e'] \times (P' P +)

$F=[\mathbf e']_\times (P'P^+)$

设两个视图的双目系统，且世界坐标系定在第一个视图：
$P = K [I | 0] P' = K' [R | t] = K' R [I | - O']$ $\begin{align} P=K[I|\mathbf 0] && P'=K'[R|\mathbf t]=K'R[I|-O'] \end{align}$
则：
$P + = [K - 1 0] O = (01)$ $\begin{align} P^+=\begin{bmatrix}K^{-1} \\ \mathbf 0\end{bmatrix} && O=\begin{pmatrix} \mathbf 0 \\ 1\end{pmatrix} \end{align}$
且：
$F = [P' C] \times P' P + = [K' t] \times K' R K - 1 = K' - T [t] \times R K - 1 = K' - T R [R T t] x K - 1 = K' - T R K T [K R T t] \times$ $F=[P'C]_\times P'P^+=[K'\mathbf t]_\times K'RK^{-1}=K'^{-T}[\mathbf t]_\times RK^{-1}=K'^{-T}R[R^T\mathbf t]_{\mathbf x}K^{-1}=K'^{-T}RK^T[KR^T\mathbf t]_\times$
对极点可以表示为：
$e = (- R T t 1) = K R T t e' = P' (01) = K' t$ $\begin{align} \mathbf e=\begin{pmatrix} -R^T\mathbf t \\ 1\end{pmatrix}=KR^T\mathbf t && \mathbf e'=P'\begin{pmatrix} \mathbf 0 \\ 1\end{pmatrix}=K'\mathbf t \end{align}$
从而， $F$ 可以记作：
$F = [e'] \times P' P + = K' - T [T] \times R K - 1 = K' - T R [R T t] \times K - 1 = K' - T R K T [e] \times$ $F=[\mathbf e']_\times P'P^+=K'^{-T}[T]_\times RK^{-1}=K'^{-T}R[R^T\mathbf t]_\times K^{-1}=K'^{-T}RK^T[\mathbf e]_\times$

性质

　　假设两幅图像由中心不重合的相机获得，则基本矩阵F为所对应点 $\mathbf x \leftrightarrow \mathbf x'$ 都满足下式的秩为 $2$ 的 $3\times3$ 齐次线性矩阵。

x' T F x = 0

$\mathbf x'^TF\mathbf x=0$

　　有如下性质：

$F$ 是秩为 $2$ 、自由度为 $7$ 的齐次矩阵（ $3\times 3$ 其次矩阵有 $8$ 个独立比率，还有一个满足约束 $detF=0$ 的约束，所以再减去一个自由度）
对应点：如果 $\mathbf x$ 和 $\mathbf x'$ 是对应的图像点，那么 $\mathbf x'^TF\mathbf x=0$ 。
对极线：
- $l'=F\mathbf x$ 对应于 $\mathbf x$ 的对极线
- $l=F^T\mathbf x$ 对应于 $\mathbf x'$ 的对极线
对极点：
- $F\mathbf e=\mathbf0$
- $F^T\mathbf e=\mathbf 0$
有摄像机矩阵 $P$ 、 $P'$ 计算：
- 一般相机
$F=[\mathbf e']_\times P'P^+$ ，其中 $P^+$ 是 $P$ 的伪逆， $\mathbf e'=P'O$ 且 $PO=\mathbf 0$ 。
- 规范相机， $P=[I|\mathbf 0]$ ， $P'=[M|\mathbf m]$
$F=[\mathbf e']_\times M=M'^T[\mathbf e']_\times$ ，其中 $\mathbf e'=\mathbf m$ 且 $\mathbf e=M^{-1}\mathbf m$
- 非无穷远相机 $P=K[I|\mathbf 0]$ ， $P'=K'[R|\mathbf t]$
$F=K'^{-T}[\mathbf t]_\times RK^{-1}=[K'[\mathbf t]_\times K'RK^{-1}=K'^{-T}RK^T[KR^T\mathbf t]_\times$

本质矩阵（Essentical Matrix）

介绍

　　本质矩阵是归一化图像坐标下的基本矩阵的特殊情况。基本矩阵把要求标定相机这样一个（非本质的）的基本假设去掉了。

归一化坐标
考虑 $P=K[R|\mathbf t]$ 的相机矩阵，令 $\mathbf x=PX$ 为图像上的一个点。如果已知相机标定矩阵 $K$ ，那么用它的逆矩阵作用与点 $\mathbf x$ 得到点 $\hat x=K^{-1}\mathbf x$ ，则 $\hat x=[R|\mathbf t]X$ ，其中 $\hat x$ 是图像的点在归一化坐标下的表示。它可以被视为空间点 $X$ 在相机 $[R|\mathbf t]$ 的标定矩阵为单位阵的 $I$ 的情况下的像。相机矩阵 $K^{-1}P=[R|\mathbf t]$ 称为归一化相机矩阵。

　　考虑一对归一化的相机矩阵 $P=[I|\mathbf 0]$ 和 $P'=[R|\mathbf t]$ ，与归一化相机矩阵对应的基本矩阵称之为本质矩阵。有如下形式：

$E = [t] \times R = R [R T t] \times$ $E=[\mathbf t]_\times R=R[R^T\mathbf t]_\times$
　　用归一化坐标图像坐标表示对应点 $\mathbf x \leftrightarrow \mathbf x'$ 时，本质矩阵的定义方程为：
$x'^T E x^= 0$ $\hat{ \mathbf{x'}}^TE\hat{\mathbf x}=0$

　　把 $\hat{ \mathbf{x'}}$ 和 $\hat{\mathbf x}$ 的表达式代入上式得 $\mathbf{x'}^TK'^{-T}EK^{-1}\mathbf x=0$ ，与基本矩阵关系式比较可得两者之间的关系为：

$E = K' T F K$ $E=K'^TFK$

性质

　　本质矩阵只有 $5$ 个自由度：旋转矩阵 $R$ 和平移矢量 $\mathbf t$ 各有 $3$ 个自由度，由于是齐次矩阵再减去一个自由度。

单应矩阵（Homograph Matrix）

介绍

　　射影映射是 $\mathbb P^2$ 到其自身的一种满足以下关系的可逆映射 $h$ ：三点 $\mathbf x_1$ ， $\mathbf x_2$ 和 $\mathbf x_3$ 共线当且仅当 $h(\mathbf x_1)$ ， $h(\mathbf x_2)$ 和 $h(\mathbf x_3)$ 也共线。射影映射也称为保线映射，或者射影变换或单应。在代数上可以把这种映射关系 $h$ 表示为： $\mathbb P^2 \rightarrow \mathbb P^2$ 是射影映射的充要条件为：存在一个 $3\times 3$ 非奇异矩阵 $H$ 使得 $\mathbb P^2$ 的任何一个矢量 $\mathbf x$ 表示的点都满足 $h(\mathbf x)=H\mathbf x$ 。

　　上图中，把点 $\mathbf x$ 的射线延长到世界平面 $\pi$ （一般都不经过任何一个相机的光心）并且交于一点 $\mathbf x_\pi$ ，该点投影到另外一个视图上得到点 $\mathbf x'$ ，这个从点 $\mathbf x$ 到点 $\mathbf x'$ 的映射是从平面 $\pi$ 诱导的单应。如果世界平面 $\pi$ 到第一幅图像的透视变换为 $\mathbf x=H_{1\pi}\mathbf x_{\pi}$ ，而世界平面到第二幅图像的透视变换为 $\mathbf x'=H_{2\pi}\mathbf x_{\pi}$ ，那么这两个透视变换的复合是两个平面之间的单应变换 $\mathbf x'=H_{2\pi}H_{1\pi}^{-1}\mathbf x=H\mathbf x$ 。

代数推导

　　给定两幅视图的投影矩阵

$P = [I | 0] P' = [A | a]$ $\begin{align} P=[I|\mathbf 0] && P'=[A|\mathbf a] \end{align}$
　　定义世界平面 $\pi$ 为 $\pi^T\mathbf M=0$ ，其中 $\pi=(\mathbf v^T ,1)^T$ 。对于第一幅视图而言，根据透视投影有 $\mathbf x=P\mathbf X=[I|\mathbf 0]\mathbf X$ ，该射线上的点 $\mathbf X=(\mathbf x^T,\ell)^T$ 都投影到 $\mathbf x$ 点，又点 $\mathbf X$ 在平面 $\pi$ 上，则满足 $\pi^T\mathbf X=0$ ，从而可以确定参数 $\ell$ ，得到 $\mathbf X=(\mathbf x^T,-\mathbf v^T\mathbf x)^T$ 。该3D点在第二幅图像上的投影为：
$x = P' X = [A | a] X = A x - a v T x = (A - a v T) x$ $\mathbf x=P'\mathbf X=[A|\mathbf a]\mathbf X=A\mathbf x-\mathbf a \mathbf v^T\mathbf x=(A-\mathbf a\mathbf v^T)\mathbf x$
　　由该平面诱导的单应为 $\mathbf x'=H\mathbf x$ ，得
$H = A - a v T$ $H=A-\mathbf a \mathbf v^T$
　　很明显，这里的单应矩阵 $H$ 是有向量 $\mathbf v$ 决定，是一个三参数单应簇。

　　考虑对于已经有标定的双目相机矩阵的相机矩阵

$P = K [I | 0] P' = K' [R | t]$ $\begin{align} P=K[I|\mathbf 0] && P'=K'[R|\mathbf t] \end{align}$
　　并且世界平面 $\pi$ 的坐标为 $\pi=(\mathbf n^T ,d)^T$ ，则根据上面的结论，有 $\mathbf v=\mathbf b/d$ ，则对相机 $P=[I|\mathbf 0]$ ， $P'=[R|\mathbf t]$ 的单应为：
$H = R - t n T / d$ $H=R-\mathbf t \mathbf n^T/d$
　　加上内参矩阵 $K$ ， $K'$ 后则得到对应的单应为：
$H = K' (R - t n T / d) K - 1$ $H=K'(R-\mathbf t \mathbf n^T/d)K^{-1}$
　　这是一个三参数簇，由 $n^T/d$ 参数化，整个簇由该世界平面以及相机内参和两相机相对外参决定。
　　

总结

　　我们可以从基本矩阵和单应矩阵的推导看到，基本矩阵不依赖于场景中的物体，只和两帧图像间的相对位姿和相机矩阵有关（本质矩阵则与相机矩阵无关）。而单应矩阵不仅仅和帧间的相对位姿有关，还和特定的世界平面有关。所以，当我们得到两帧图像并且知道图像中点的对应关系后，不论场景是什么样的，通过基本矩阵就都已经直接恢复出帧间的运动；而单应矩阵则不行，只有当匹配点都在特定的世界平面中，才可以使用单应来恢复帧间的运动。

参考

Multiple View Geometry in Computer Vision,Second Edition