slam入门3:2D-2D对极几何中的对极约束公式详细解释(参考 视觉slam十四讲)

声明:下面一些内容引用了高翔的视觉slam十四讲, 感谢作者。

对于我这种刚入门的小白(cai bi)来说,对极约束公式中的某些步骤理解起来还是有些难度的,下面把个人对相关内容的理解写下来,以备日后翻阅。

一、对极约束推导

以下图为例,我们希望求取两帧图像 I1 , I2 之间的运动,设第一帧到第二帧的运动为R, t。两个相机中心分别为 O1 , O2 。现在,考虑 I1 中有一个特征点 p1 ,它在 I2 中对应着特征点 p2 。

图1

从代数角度来看一下这里出现的几何关系。在第一帧的坐标系下,设 P 的空间位置为:

1
公式1

根据针孔相机模型,我们知道两个像素点 p1 , p2 的像素位置为:

公式2

这里 K 为相机内参矩阵,R, t 为两个坐标系的相机运动。如果使用齐次坐标, 也可以把上式写成在乘以非零常数下成立的(up
to a scale)等式:

公式3

问题(1)来了:为什么使用齐次坐标,并且乘以非零常数后等式依然成立。

解释如下:说到齐次坐标,就要提一下投影几何(或射影几何)。首先齐次坐标是指一个用于投影几何里的坐标系统,如同用于欧式几何里的笛卡儿坐标一般(具体见wiki),射影几何研究在摄影变换下不变的几何性质(具体见wiki)。以针孔相机模型为例,来解释一下为什么齐次坐标乘以非零常数后仍然表示同一个点,如下图:

上图中,O表示相机光心,p = (u, v)^{T}为像素坐标系下的点,P1,P2,P3为在相机坐标系下的空间点,并且P1,P2,P3均投影到像素坐标系下的p点。在推导相机的内参矩阵时,为了使等式左右两边维度相同,我们把p = (u, v)^{T}写成齐次坐标形式p = (u, v, 1)^{T},如下式:

                                                                        Z \begin{bmatrix} u\\ v\\ 1 \end{bmatrix} = \begin{bmatrix} f_{x} & 0 & c_{x} \\ 0& f_{y} & c_{y}\\ 0 & 0& 1 \end{bmatrix} \begin{bmatrix} X\\ Y\\ Z \end{bmatrix}

所以对于P1,P2,P3三点与齐次坐标p = (u, v, 1)^{T}的关系为:

                                                 Z1 * p = K * P1; Z2 * p = K * P2; Z3 * p = K * P3

则 p =  (K * P1 ) / Z1 = (K * P2 ) / Z2 = (K * P3 ) / Z3, 我们发现,齐次坐标p = (u, v, 1)^{T}乘以非零常数后依然表示同一个投影点,只不过空间点P位置变了,但都在\overrightarrow{Op} 这条射线上,齐次坐标p乘以不同的非零常数表示不同距离的空间点在像素平面的投影,就是这条射线上的点均投影到 p 点。这也表明了单目相机的一张图像没法确定深度。另外也可参考另一个博客

由以上解释可以看出,使用齐次坐标可以使相机模型计算更加方便,灵活性更高,乘以非零常数后仍表示同一个点。

接上面的公式3,令

公式4

很明显,x_{1}, x_{2} 是上面图1中两个像素点 p_{1}, p_{2} 的相机归一化平面上的坐标(相机坐标系下)。

则将公式4带入公式3中,得到: x_{1} = Px_{2 } = RP + t, 最终得到:

公式5

两边同时左乘 t^{\Lambda },得到:

公式6

两侧同时左乘x_{2}^{T},得到:

公式7

由于x_{2}^{T} t^{\Lambda } x_{2} = 0,所以有:

公式8

重新代入p_{1}, p_{2},得到:

公式9

这两个式子都称为对极约束。通过定义基础矩阵F和本质矩阵E进一步简化上式:

公式10

E 和 F 只相差了相机内参,求出E或者F就可以通过分解求出R和t。通常内参是已知的,求解E会更方便。

二、本质矩阵

根据定义,本质矩阵E = t^{\Lambda }R,它是一个 3 × 3 的矩阵,内有 9 个未知数。E满足如下条件:

(1)E满足对极约束: x_{2}^{T} E x_{1} = 0,由于对极约束是等式为零的约束,所以对 E 乘以任意非零常数后,对极约束依然满足,这称为 E 在不同尺度下是等价的,即尺度等价性。

(2)根据E = t^{\Lambda }R, 可以证明,本质矩阵 E 的奇异值必定是 [σ, σ, 0]T 的形式。这称为本质矩阵的内在性质。(推导可见另一博客

(3)另一方面,由于平移和旋转各有三个自由度,故E = t^{\Lambda }R共有六个自由度。但由于尺度等价性,故 E 实际上有五个自由度。

E的求解:

E 具有五个自由度的事实,表明我们最少可以用五对点来求解 E。但是,E 的内在性质是一种非线性性质,在求解线性方程时会带来麻烦。

问题(2):本质矩阵E为什么是尺度等价的?

问题(3):本质矩阵E的奇异值为什么是 [σ, σ, 0]T,怎么求?

问题(4):本质矩阵E为什么有5个自由度?

这三个问题的答案墙裂推荐一篇有道云笔记备用链接),该笔记从最基础的矩阵理论出发,一步步解释了本质矩阵、基础矩阵以及单应矩阵的性质和求解方法,新手必备。

 

  • 0
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
### 回答1: 《视觉SLAM十四》第三章主要介绍了视觉SLAM的关键技术——特征提取和描述子。本章首先介绍了特征点的概念和特征点的选择原则。特征点即图像具有鲁棒性和区分度的点,可以通过对其进行检测和描述来进行特征匹配和跟踪。在进行特征提取时,作者介绍了常见的特征检测算法,如Harris角点检测、SIFT和SURF算法等,并对其进行了比较和分析。 接着,本章详细阐述了特征描述子的概念和作用。特征描述子是对特征点周围区域的图像信息进行编码,以实现特征匹配和跟踪。常见的特征描述子包括SIFT、SURF和ORB等。作者从描述子的表示形式、计算方式和匹配方法等方面进行了介绍,并对它们进行了比较和评价。同时,还提到了基于二进制描述子的方法,如BRIEF、BRISK和FREAK等。 在特征匹配方面,本章介绍了特征描述子匹配的基本原理和流程。以基于特征点的视觉SLAM为例,作者详细解释了特征点的匹配过程,包括特征点的选择、特征点描述子匹配和筛选等步骤。并介绍了如何通过验证特征点的三角化和PnP求解来估计相机的位姿。 此外,本章还介绍了一些特定场景下的特征点选择和提取策略,如动态环境下的特征点追踪和关键帧选择等。 综上所述,《视觉SLAM十四》第三章主要介绍了特征提取和描述子在视觉SLAM的重要性和应用。通过对特征点的检测和描述,可以实现特征匹配和跟踪,为后续的相机位姿估计和建图提供基础。该章内容详细且通俗易懂,对于学习和理解视觉SLAM有着重要的指导作用。 ### 回答2: 《视觉SLAM十四-Ch3》主要介绍了视觉SLAM(同时定位与建图)技术的基本原理和实现方法。本章主要涵盖了三维几何表示和变换、相机模型和相机姿态以及特征提取与匹配等内容。 首先,本章介绍了三维几何表示和变换的概念。通过介绍欧氏空间的点、向量和坐标变换,深入解释了相机在三维空间的位置和朝向的表示方式。同时,引入了齐次坐标和投影矩阵的概念,为后续的相机模型和姿态估计打下了基础。 其次,本章详细解了相机模型和相机姿态的原理与应用。其,介绍了针孔相机模型,分析了图像坐标和相机坐标之间的映射关系。通过投影矩阵的推导,给出了透视投影和仿射投影的公式,并解释了相机焦距和主点的含义。此外,还介绍了如何通过计算相机的外参矩阵来估计相机的姿态,以及如何将图像坐标转换为相机坐标。 最后,本章介绍了特征提取与匹配的技术。首先,介绍了角点和边缘点的概念,以及如何利用差分和梯度计算来检测图像的角点和边缘点。然后,介绍了如何通过特征描述符来表示图像的特征点,并通过特征匹配算法找到两幅图像之间的对应关系。特征提取与匹配是视觉SLAM非常重要的步骤,对于后续的相机定位和建图至关重要。 综上所述,《视觉SLAM十四-Ch3》通过系统地介绍了视觉SLAM技术的基本概念和实现方法,包括三维几何表示和变换、相机模型和相机姿态的原理与应用,以及特征提取与匹配的技术。这些内容为读者深入理解和掌握SLAM技术提供了很好的基础。 ### 回答3: 视觉SLAM(Simultaneous Localization and Mapping)是一种通过计算机视觉技术,实现机器智能的同时实时定位和地图构建的方法。在《视觉SLAM十四》第三,主要介绍了视觉SLAM的基本概念和关键技术。 首先,解了视觉SLAM的理论基础,包括自我运动估计和地图构建两个部分。自我运动估计是通过相邻帧之间的视觉信息,计算相机在三维空间的运动,从而实现机器的实时定位;地图构建是通过对场景特征点的观测和跟踪,建立起一个三维空间的地图。这两个过程相互影响,通过不断迭代优化,实现高精度的定位和地图构建。 接着,解了基于特征的视觉SLAM算法。特征提取与描述是建立视觉SLAM系统的关键步骤,通过提取场景的特征点,并为其生成描述子,来实现特征点的匹配和跟踪。同时,还介绍了一些常用的特征点提取和匹配算法,如FAST、SIFT等。 在SLAM框架方面,本节还介绍了基于视觉的前端和后端优化。前端主要负责实时的特征跟踪和估计相机运动,后端则是通过优化技术,对前端输出的轨迹和地图进行优化求解,从而提高系统的精度和鲁棒性。 最后,本节提到了几个视觉SLAM的应用场景,如自主导航、增强现实等。这些应用对于实时高精度的定位和地图建立都有着很高的要求,因此,视觉SLAM的技术在这些领域有着广泛的应用前景。 总的来说,《视觉SLAM十四》第三视觉SLAM的基本概念和关键技术进行了系统的介绍。理论基础、特征提取与描述、SLAM框架和应用场景等方面的内容都给出了详细解释和案例,有助于读者更好地理解和应用视觉SLAM技术。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值