视觉slam十四讲学习笔记（六）视觉里程计 1

本文关注基于特征点方式的视觉里程计算法。将介绍什么是特征点，如何提取和匹配特征点，以及如何根据配对的特征点估计相机运动。

目录

前言

一、特征点法

1 特征点

2 ORB 特征

FAST 关键点

BRIEF 描述子

3 特征匹配

二、实践：特征提取和匹配

三、2D-2D: 对极几何

1 对极约束

2 本质矩阵

3 单应矩阵

四、实践：对极约束求解相机运动

五、三角测量

总结

---

前言

1. 理解图像特征点的意义, 并掌握在单幅图像中提取出特征点，及多幅图像中匹配特征点的方法。

2. 理解对极几何的原理，利用对极几何的约束，恢复出图像之间的摄像机的三维运动。

3. 理解 PNP 问题，及利用已知三维结构与图像的对应关系，求解摄像机的三维运动。

4. 理解 ICP 问题，及利用点云的匹配关系，求解摄像机的三维运动。

5. 理解如何通过三角化，获得二维图像上对应点的三维结构。

哔哩哔哩课程链接：视觉SLAM十四讲ch7_1_哔哩哔哩_bilibili

---

一、特征点法

特征点法通常是指在计算机视觉和图像处理中使用的一种方法，其目的是检测和描述图像中的关键特征点。这些特征点可以是图像中独特或显著的位置，如角点、边缘点等，它们在不同图像中具有相似性，因此可以用来进行图像匹配、目标跟踪、三维重建等应用。

特征点法的一般步骤包括以下几个方面：

1. 特征点检测： 通过一些算法检测图像中的关键特征点，这些特征点通常是在局部区域内显著的位置，例如角点、边缘点等。常用的特征点检测算法包括Harris角点检测、Shi-Tomasi角点检测、SIFT（尺度不变特征变换）、SURF（加速鲁棒特征）等。

2. 特征点描述： 对于检测到的特征点，需要提取其特征描述子，以便后续匹配。这些描述子通常是能够表征特征点周围局部结构的向量或矩阵。常用的特征描述算法包括SIFT描述子、SURF描述子、ORB（Oriented FAST and Rotated BRIEF）描述子等。

3. 特征点匹配： 在不同图像中，通过比较特征点的描述子，找到相似的特征点对，从而建立图像间的对应关系。匹配可以使用一些距离度量或相似性度量来完成。

4. 应用： 特征点法的应用非常广泛，包括图像配准、目标跟踪、三维重建、拼接图像、物体识别等领域。

1 特征点

VO 的主要问题是如何根据图像来估计相机运动。然而，图像本身是一个由亮度和色彩组成的矩阵，如果直接从矩阵层面考虑运动估计，将会非常困难。所以，习惯于采用这样一种做法：首先，从图像中选取比较有代表性的点。这些点在相机视角发生少量变化后会保持不变，所以会在各个图像中找到相同的点。然后，在这些点的基础上，讨论相机位姿估计问题，以及这些点的定位问题。在经典 SLAM 模型中，把它们称为路标。而在视觉 SLAM 中，路标则是指图像特征（Features）。

• 特征是图像信息的另一种数字表达形式。
• 特征点在相机运动之后保持稳定。
• 特征点是图像里一些特别的地方。

可以作为图像特征的部分：角点、边缘、区块。

人工设计的特征点能够拥有如下的性质：

1. 可重复性（Repeatability）：相同的“区域”可以在不同的图像中被找到。

2. 可区别性（Distinctiveness）：不同的“区域”有不同的表达。

3. 高效率（Efficiency）：同一图像中，特征点的数量应远小于像素的数量。

4. 本地性（Locality）：特征仅与一小片图像区域相关。

特征点由关键点（Key-point）和描述子（Descriptor）两部分组成。

比方说，当谈论 SIFT 特征时，是指“提取 SIFT 关键点，并计算 SIFT 描述子”两件事情。关键点是指该特征点在图像里的位置，有些特征点还具有朝向、大小等信息。描述子通常是一个向量，按照某种人为设计的方式，描述了该关键点周围像素的信息。描述子是按照“外观相似的特征应该有相似的描述子”的原则设计的。因此，只要两个特征点的描述子在向量空间上的距离相近，就可以认为它们是同样的特征点。

2 ORB 特征