基于深度学习的智能车辆视觉里程计技术发展综述*--陈涛

[1]陈涛, 范林坤, 李旭川,等. 基于深度学习的智能车辆视觉里程计技术发展综述[J]. 汽车技术, 2021(1):10.

本文内容：

• 介绍了基于模型的里程计研究现状
• 对比了常用智能车数据集，
• 将基于深度学习的视觉里程计分为有监督学习、无监督学习和模型法与深度学习结合3种，从网络结构、输入和输出特征、鲁棒性等方面进行分析
• 讨论了基于深度学习的智能车辆视觉里程计研究热点
• 从视觉里程计在动态场景的鲁棒性优化、多传感器融合、场景语义分割3 个方面对智能车辆视觉里程计技术的发展趋势进行了
  展望

1、前言

智能车定位很重要，分为绝对定位和相对定位。相对定位法主要包括惯性导航和里程计，都存在不可避免且难以消除地误差累积。
惯性导航（通过测量载体在惯性参考系的加速度，将它对时间进行积分，且把它变换到导航坐标系中，就能够得到在导航坐标系中的速度、偏航角和位置等信息）的优劣受测量单元的精度影响较大，且成本高。
但是通过计算机视觉来定位成本低，体积小，布置方便，是考虑成本、稳定、精度和使用复杂度的最佳方法。

基于模型的VO：即经典VO框架，流程包括相机标定、括特征提取、匹配和帧间位姿估计。基于模型的VO也分为以下两类：

• 直接法VO：如光流法
• 特征法VO：如提取角点特征等匹配来估计位姿

2、基于模型的VO

基于模型的VO主要包括：相机标定、括特征提取、匹配和帧间位姿估计
根据对图像像素信息的2中不同利用方法，基于模型的VO分为特征法VO和直接法VO。

下图展示基于模型VO的示意图，$A_0$和$A_1$为空间点$A$在两帧图上的像素投影。

2.1、特征法VO

特征法基本原理就是在图A中找到特征点，然后在图B中找到图A中找到的特征点。本来是相同的特征点，但是由于相机位姿变化了，导致对于的特征点也发生了位姿的变化，通过特征点的反推我们可以估计相机位姿的变化。

由此可见，特征点提取和特征点匹配就很影响我们的估计相机位姿的结果。

2.1.1、特征点提取

对于特征点，其中角点相较于边缘和区块更容易区分，所以角点特征也是特征法VO的研究重点。角点提取算法有很多，如Harris角点、FAST角点、GFTT角点等。更有为了角点的可重复性、可区分性、高效率和局部性设计了更多稳定的图像局部特征算法SIFT、SURF、ORB等。（在SLAM十四讲中，作者就使用了ORB进行角点检测，上图就是书中代码实现的效果）

2.1.2、特征点匹配

在特征点提取阶段，我们已经叫特征角点提取成描述子表示，即用一种数字化方式描述一个角点。

如何匹配？计算每个描述子和其他所有描述子的相似度，我们认为最象素的两个描述子即为一对匹配的描述子。

如何描述相似度？最简单的是用描述子的距离来表示两个特征点的相似度，对于浮点类型的描述子用欧氏距离即可；对于二进制描述子，往往使用汉明距离。

如何搜索匹配？最简单的就是暴力匹配计算每个描述子和其他所有描述子的相似度，这样肯定不够实时性。快速近似最近邻（FLANN）算法则更适合于匹配数量极多的情况。

2.1.3、利用匹配好的特征估计相机位姿

上图展示的是2D图像的特征点提取和匹配，但实际上我们的视觉里程计中的视觉输入可以使2D-2D和3D-3D等，其估计相机位姿的算法也不同。

当相机为单目时图像为2D图像，则在两帧2D图像上做好了特征提取和特征匹配时，我们使用对极几何算法估计相机运动。
当相机为双目或者深度相机时，则在两帧3D图像做好了特征提取和特征匹配，特征点的坐标则是3D坐标，我们通常使用迭代最近点算法（ICP）估计相机运动。

2.1.4、优缺点

特征点法VO因为鲁棒性强和精确性高称为目前主流的VO。
但是内特征提取和描述子计算耗时较多，同时忽略了图片的其他信息（只用了角点信息），当运行时特征点缺失时无法找到足够的特征点计算相机运动。比如在图片为平面等几乎没有角点的场景，就很难估计了。

2.2、直接法VO

直接法也即光流法，直接根据像素的亮度信息来估计相机运动，详见视觉里程计-光流法(optical flow)。

缺点是完全依靠梯度搜索达到最低损失函数的目的，但是图像是强烈的非凸函数，容易陷入局部最优；单个像素的区分度不明显；灰度不变性是个很强的假设，很多情况都不会满足。总之就是系统的鲁棒性得不到保证。

3、基于深度学习的VO

基于深度学习的端到端的方式进行帧间位姿估计，输入为图像序列，输出是图像的相对位姿。其效果往往取决于网络的架构和损失函数的形式。

3.1、数据集

深度学习离不开数据集，下表展示了常用相关数据集。

3.2、有监督学习的VO、无监督学习的VO效果