【最新综述】机器人视觉 SLAM 的最新综述（上）

Recent Advances in Robot Visual SLAM

PDF文章获取：链接：https://pan.baidu.com/s/1yg8Q-wrY688fgcd8qoYedg?pwd=hnu2 
提取码：hnu2 （失效后私信补） 部分专业词汇可能翻译不准

摘要：

背景：SLAM 在机器人、无人飞行器和无人车辆的导航中发挥着重要作用。定位精度将影响避障精度。地图构建的质量直接影响后续路径规划和其他算法的性能。它是智能移动应用的核心算法。因此，机器人视觉 SLAM 具有很大的研究价值，将是未来的一个重要研究方向。研究目的本文通过回顾计算机视觉 SLAM 的最新发展情况，为相关领域的研究人员提供参考。

方法：从算法、创新和应用三个方面分析了计算机视觉 SLAM 的文献。其中，近十年来共有 30 多项专利和近 30 篇文献。

结果：本文回顾了近十年来机器人视觉SLAM的研究进展，总结了其典型特征，特别是详细介绍了视觉SLAM系统的前端部分，阐述了各种方法的主要优缺点，分析了机器人视觉SLAM发展中存在的主要问题，展望了其发展趋势，最后探讨了机器人视觉SLAM技术的相关产品和专利研究现状及未来。

结论：机器人视觉 SLAM 可以比较环境的纹理信息，识别两种环境的差异，从而提高准确性。然而，目前的 SLAM 算法在快速运动和高动态环境中容易失效，大多数 SLAM 行动方案效率低下，而且 VSLAM 的图像特征区分度太高。此外，还应该发明更多关于机器人视觉 SLAM 的专利。

Keywords: Computer vision, SLAM, image features, image processing, feature point method, direct method.

1. INTRODUCTION

        随着人工智能的飞速发展，机器人产业也在如火如荼地发展，在人们的生产生活中扮演着越来越重要的角色。扫地机器人等越来越多的移动机器人出现在人们的视野中。移动机器人要想实现可控运动，就必须解决同步定位和映射（SLAM）问题[1]。事实上，在未知的位置和环境中，机器人通过在运动过程中反复观察环境特征来确定自己的位置，然后根据自己的位置构建增量的周围环境地图，从而达到同时定位和构建地图的目的。视觉 SLAM 可以使用单目摄像头、立体摄像头和其他视觉传感器进行数据采集，前端为视觉里程表，后端优化、回环检测和地图构建 [2]。一些 SLAM 系统还包括重定位模块，作为更稳定、更精确的视觉 SLAM 附加组件 [3]。本文介绍了 SLAM 的系统组成和分类，根据利用图像信息的不同分类方法总结了当前机器人视觉 SLAM 的研究成果，并指出和讨论了机器人视觉 SLAM 的关键问题和发展趋势。 

2. OVERVIEW OF THE VISUAL SLAM SYSTEM

2.1. Composition of Vision SLAM System 

        经典的视觉 SLAM 系统包括五个模块：传感器数据读取、前端、后端、回环检测和绘图。视觉 SLAM 系统的框架如图 (1) 所示。前端负责通过跟踪帧间图像特征来估计摄像机运动和局部地图。后端根据前端提供的初始值进行优化。回环检测也可称为闭环检测。通过计算图像相似性，它可以识别访问过的场景并消除累积误差。映射是对周围环境的描述[4]。 

        前端也称为Visual Odometry（VO）。VO 根据相邻图像的信息粗略估计摄像机的运动和特征方向，为后端优化提供更好的初始值。根据是否提取特征，VO 实现方法分为两类：基于特征点检测的特征点方法和不带特征点检测的直接方法。基于特征点方法的 VO 系统运行更稳定，对光线和动态物体相对不敏感[5]。 

        后端接收由视觉里程表估算的摄像机姿态和环境信息，并对这些信息进行优化，以获得全局一致的运动轨迹和环境地图[6]。视觉 SLAM 系统的后端优化主要有两种实现方法：一种是以Extended Kalman Filter（EKF）为代表的滤波方法 [7]，另一种是以图优化为代表的非线性优化方法 [8]。

        回环检测的任务是使系统在返回原地时能够根据传感器信息识别当前场景，并确定该区域已被访问过。它是消除 SLAM 系统累积误差、确保运动轨迹与环境地图全局一致性的重要手段 [9]。对于视觉 SLAM，传统的回环检测方法主要采用词袋模型[10]，其实现方法是针对从图像中提取的局部特征，通过 K 均值聚类构建一个包含 K 个词的词表。根据词表中每个词的出现次数，将图像表示为一个 K 维的数值向量，用来判断场景之间的差异，识别被访问的场景。词袋模型的缺点也是显而易见的。当我们的词汇量增加时，每个句子使用的单词数最多为十个，这就导致每个句子的矩阵稀疏，严重影响内存和计算资源。此外，由于词袋模型是基于独立的词，在句子中没有考虑词与词之间的顺序和关系，在某些情况下可能导致句子意思表达不准确，即在准确性上还存在问题。

         常见的地图形式包括密集地图、半密集地图、稀疏地图和语义地图。稀疏地标地图的构建是为了满足基于视觉的同步定位和地图构建技术（VSLAM）定位的要求。为了导航、避障和重建，需要构建密集地图。语义地图是在地图上添加标签，使人们更容易查看，或在 BA 或优化目标函数中引入标签信息。

2.2. Classification of Vision SLAM System

        机器人视觉 SLAM 方案可根据传感器不同（单目、双目、RGB-D 与 IMU 结合等）、前端方法不同（主要分为直接法和特征点法）、后端优化方案不同（滤波或非线性优化）、地图生成不同（稀疏地图、密集地图等）以及分区不同进行划分。

        1) 单目 SLAM。只用一台摄像机采集信息，当比例尺初始化后（即在摄像机初始阶段进行一段位移，并确定该段位移的实际大小作为参考），即可完成连续图像间摄像机位置和方位的计算和映射。其优点是设备简单、成本低。缺点是尺度漂移大；只能通过三角测量法计算图像的深度信息，对环境的适应性差；当摄像机位移较小时，计算误差大，测绘精度不高。 

        2) 双目 SLAM。利用双目摄像机采集信息，双目摄像机可以通过立体视觉原理计算像素深度，因此不存在单目 SLAM 中的未知深度。优点是对环境的适应性比单目 SLAM 高，可以计算出像素的真实深度；缺点是像素深度计算量大，一般通过 FPGA 或 GPU 加速实现实时计算输出。

        3) RGBD SLAM。RGB 摄像机是一种能同时输出 RGB 图像和相应深度图的摄像机。其像素深度不再通过耗时的被动双目匹配计算来测量，而是通过在激光斑点或硬件测量（结构光、TOF 等）中添加图像纹理来加速测量。但 RGBD 摄像机的室外性能通常较差，更多用于室内环境。

        度量图是环境结构的表示。选择合适的 SLAM 度量表示方法非常重要，这将影响到长期导航、环境交互和人机交互等多个研究领域。利用图像信息的不同方法可分为直接法和特征点法。直接法将产生半密集和密集结构，而特征点法将产生稀疏结构。本文根据数据稀疏性的分类，总结了当前机器人视觉 SLAM 的成果。

3. RESEARCH PROGRESS OF VISUAL SLAM

        利用图像信息的不同方法可分为直接法和特征点法。直接法将产生半密集和密集结构，而特征点法将产生稀疏结构。本文根据 SLAM 系统生成的不同稀疏结构的特点，将 VSLAM 分为稀疏 VSLAM、半密集 VSLAM 和密集 VSLAM。 

3.1. Visual SLAM based on Feature Point Method

        基于特征的视觉 SLAM 方法是指检测和提取输入图像中的特征点，计算摄像机姿态，并根据二维或三维特征匹配进行环境映射。稀疏特征点，如 SIFT（尺度不变特征变换）[11] 和 ORB（定向 FAST 和旋转 BRIEF，旋转不变特征）[12]，通常用于根据提取的特征点信息进行数据关联，从而估计运动姿态[13]。为了减少噪声对姿态估计的影响，通常采用 RANSAC 算法（随机样本共识）来消除匹配错误的特征点。同时，姿态估计和地图构建基于二维和三维特征匹配信息，可以有效减少计算量，同时保存重要的图像信息[14]。

        如果对整幅图像进行处理，计算复杂度太高。特征能有效减少计算量，同时保存图像的重要信息，因此被广泛使用。

        早期的单目视觉 SLAM 是通过滤波器实现的 [15-18]。扩展卡尔曼滤波器（EKF）用于实现同步定位和地图创建。其主要思想是使用状态向量来存储摄像机位置和地图点的三维坐标，并使用概率密度函数来表示不确定性。通过观测模型和递归计算，最终得到状态向量的更新均值和方差。然而，由于引入了 EKF，SLAM 算法会产生计算复杂度和线性化带来的不确定性。为了弥补 EKF 线性化对结果的影响，文献 [19-21] 在单目视觉 SLAM 中引入了无标记卡尔曼滤波器（UKF）或改进的 UKF。虽然这种方法改善了不确定性，但也增加了计算复杂度。此外，文献[22, 23]使用 Rao Blackwell 粒子滤波器实现了单目视觉 SLAM。这种方法避免了线性化，对摄像机的快速移动有一定的弹性。但是，为了确保定位精度，需要更多的粒子，这大大提高了计算复杂度。

        2007 年，Davison 等人[17] 提出了 Mono SLAM，这是首个实时单目视觉 SLAM 系统。以 EKF 作为后端，Mono SLAM 跟踪前端获取的稀疏特征点，并以相机姿态和地标位置作为状态变量更新其均值和协方差。同年，Klein 等人[24] 提出了 PTAM（Parallel Tracking And Mapping，并行跟踪与映射），实现了跟踪与映射工作的并行化。它首次区分了前端和后端，并提出了关键帧机制。通过非线性优化方法，将关键图像连接起来，优化运动轨迹和特征方向。随后的许多视觉 SLAM 系统设计也采用了类似的方法。ORB-SLAM [25] 是 2015 年提出的一种基于关键帧的相对完善的单目 SLAM 方法。与 PTAM 的双线程机制相比，该方法将整个系统分为跟踪、地图创建和闭环检测处理三个线程。其特征提取与匹配、地图构建和回环检测都基于ORB特征，精度高，可实时运行。ORB-SLAM2 随后发布，开放了双目摄像头和 RGB-D 摄像头之间的接口。 

        Zhang等人提出了[26]一种机器人定位与地图构建方法。本发明在视觉SLAM算法的基础上，利用深度学习充分利用图像信息实现场景理解、语义分割、深度估计等功能，实现了基于ORB特征的单目视觉SLAM算法。该算法在生成字典时为每个单词增加权重，以显示单词的意义和辨别能力。由于无监督学习生成的ORB视觉字典非常大，为了提高视觉字典导入SLAM的时间，算法生成的txt格式视觉字典初始大小为273.9 MB，导入SLAM需要6.3 s。该算法的改进之处在于将 txt 格式的字典转换为二进制格式，转换后的字典大小为 43.6 MB，是原来的 15.9%；导入 SLAM 的时间缩短为 0.14 s，效率提高了 45 倍。该算法的优点如下：增强了主体对环境的感知能力，使机器人实现了高机动性和自主性，改善了特征法SLAM无法重构密集地图、直接法SLAM精度和稳定性低的缺陷，解决了现有技术中机器人机动性和自主性差的问题。

        Liu 等人[27] 提出了一种基于多关键帧的全景惯性导航 SLAM 方法。该方法包括：建立多视角全景视觉模型（该模型由 N 个摄像头通过环视、环视加环视、环视加俯视或环视加俯视组合实现；N为大于等于2的正数），结合惯性导航单元的视觉特性进行紧耦合融合，通过多关键帧视觉-惯性导航非线性优化实现高精度定位和场景地图（具体优化方法是以当前关键帧和IMU状态为优化变量进行当前多关键帧状态优化，最小化全景视觉重投影误差和IMU误差，优化当前多体多关键帧姿态；局部 BA 地图点和多关键帧状态优化处理新的多关键帧，在计算 BOW 后插入地图，去除多余地图点，然后对新地图点进行三角测量，并调整局部集群以消除多余的多关键帧；全局 BA 循环检测和全局关键帧姿态优化首先进行基于 BOW 的闭环检测，通过 Sim3 算法计算相似变换，发现闭环融合和本质图优化修正闭环），用于解决现有技术中环境感知方法获取的信息不足、快速旋转的不确定性以及现有视觉 SLAM 方法视场有限等问题。该方法包括 AGAST-BRIEF 特征提取、多视角全景视觉投影模型和 IMU 信息采集。AGAST-BRIEF 特征提取使用 AGAST 角点来改进 ORB 特征提取，避免了重新训练 FAST 角点新环境的耗时问题，并使用在线学习算法来表达特征，同时考虑了光和旋转的不变性。多视角全景视觉投影模型利用多视角全景结构，限制多个摄像机之间的位置和姿态约束，建立人体点，同时统一多帧图像的多人体帧，建立空间特征点与图像平面之间的投影关系。IMU 信息收集使用软件或硬件精确对齐 IMU 和多摄像机帧的时间戳。通过外部参数校准方法获得多机体和 IMU 实体旋转平移矩阵，并进行流式预积分处理。针对光照效应和视觉衰减等问题，为机器人在强光、弱纹理、运动模糊等复杂环境下的环境建模和定位导航提供了有效的自动化方法。提高了方法的精度和鲁棒性，保证了机器人自主导航的充分性，同时兼顾了计算效率，视觉 SLAM 方法可用于验证系统的实时性。本发明的全景惯性导航SLAM方法流程图如图（2）所示。

        Wang 等人[28]提出了一种基于语义约束的视觉 SLAM 方法。其工作流程如图（3）所示，包括通过深度相机连续获取周围环境的图像序列；图像序列中的关键帧经视觉 SLAM 方法处理后重建地图；语义分割n对关键帧进行处理，并根据语义分割结果制定语义约束参数（参数包括获取关键帧中所有特征点的深度信息）； 

        根据语义分割结果中地面区域多个特征点的深度信息，得到与多个特征点相对应的多个三维点。根据所描述的三维点，采用随机抽样共识算法获得最佳平面参数。最佳平面参数作为语义约束参数，每次检测到关键帧时都会更新）；语义约束参数用于约束重建图的语义，语义分割结果经融合后得到语义图。然后，在检测到每个关键帧时，对语义约束参数和约束点进行绑定和更新；当非关键帧纹理特征丰富或缺乏时，语义图可以估计深度相机的姿态（本发明所述语义约束的意义在于，在大多数情况下，识别像素点的空间位置是由像素点的特征（如 ORB 特征）决定的，但由于光线角度等因素，图像中同一空间平面内的像素点特征也是不同的。因此，本发明提出将地面区域特征点所对应的三维点从语义上约束到同一三维平面上，从而构建出更为精确的三维地图。这样，机器就能获得关于场景的高级认知信息，为机器人导航、增强现实和自动驾驶等应用提供更自然的人机交互方式。）因此，本发明利用语义约束获得了更准确的语义图；通过在纹理特征丰富或纹理特征缺乏以及二者结合的情况下对相机姿态进行估计，提高了相机姿态估计的准确性。以上对本发明方法的描述是针对室内地面等场景，地面是平的，反过来通过语义 "地面区域 "将地面区域的特征点限制在同一平面上也是合理的。 

        You 等人[29]提出了一种基于深度相机的多特征融合视觉 SLAM 方法。其流程图如图（4）所示。该方法的具体实现步骤如下：在视觉毫米波前端对获取的图像进行图像预处理，以降低初始图像中噪声对特征检测的影响；在预处理后的图像中，采用自适应阈值法提取 FAST 特征点，从中选取 Harris 响应得分最高的 500 个特征点计算 rBRIEF 描述子。为了提取图像的线段特征，采用 LSD 算法提取线段特征。对于提取的线段特征，需要过滤掉长度小于 20 像素的线段特征，并制定规则合并同一线段特征的两个线段特征。使用所开发的方法构建候选曲面特征，并使用最小平面表示法来表示曲面特征。

        特征匹配是对相邻两帧的图像进行处理，以获取摄像机位置和帧间位置的变化，并判断当前帧是否为关键帧，将其保存为关键帧，并建立局部图。在图优化的后端，对局部映射进行优化，使用 Levenberg-Marquadt 算法优化局部位置并求解最优位置。判断当前输入帧是否能形成循环，如果能形成循环，则修改两端局部图，以关键帧代表的机器人位置为节点，以两端局部图之间的约束关系为边，修正轨迹。在这种方法中，使用了一种新方法来检测 FAST 特征：采用 M16 模板选取特征点周围的像素点，半径为 3 个像素点，在当前圆中选取灰度值最大的 10 个像素点和灰度值最小的 10 个像素点，计算阈值 T：其中 Ii 代表当前圆中所有像素点的平均灰度值；然后比较 16 个点中编号为 1、5、9、13 的像素点与 T 之间的关系。本发明解决了基于特征点方法的视觉 SLAM 在低纹理环境下精度下降甚至系统失效的问题。

        Feng等人[30]提出了一种基于特征分布的视觉SLAM关键帧和特征点选择方法。在移动机器人进行视觉定位和绘图时，以往方法的主要目的是提高精度，这使得相关算法无法保持跟踪的稳定性，不能有效地应用于工程实践。本发明的专利技术可以在与现有算法精度基本相同的情况下，选取更多具有代表性的关键帧和更多高质量的特征点，从而大大减少了需要选取的关键帧数量，但却显著增加了匹配特征点的数量。与现有算法相比，本发明的专利技术提高了跟踪质量，减少了对存储空间的占用，可以更好地应用于工程领域。

        Ding 等人[31]提供了一种基于案例分割的视觉 SLAM 算法。本发明可应用于移动机器人的导航控制系统，实现移动机器人的自主定位和导航，使移动机器人能够执行智能任务。本发明将 MASK R-CNN 作为一个独立的分支引入到传统的视觉 SLAM 框架中。在提取视觉图像特征的同时，利用 MASK R-CNN 完成实例分割，并根据实例分割的掩膜信息和边界框信息对图像特征点进行过滤，优化特征匹配过程，从而提高机器人姿态估计的精度和计算效率。同时，系统还利用 MASK R-CNN 检测视觉图像的目标，对检测到的物体进行像素级分类，给出三维点云图的语义信息，并利用语义信息构建三维点云图，以满足移动机器人执行更高级智能任务的需要。本发明利用TUM数据集对图像实例分割、视觉定位、语义地图构建进行实验验证，流程图如图（5）所示。本发明的主要效果如下(1) 利用案例分割辅助 SLAM 的定位过程，提高定位精度、鲁棒性和定位速度。(2) 利用案例分割的语义信息，可构建具有语义信息的三维点云图，满足移动机器人执行更高级智能任务的需求。

 

        Cui 等人[32]公开了一种基于语义光流和反深度滤波的视觉 SLAM 方法，包括以下步骤：(1) 视觉传感器采集图像，对采集的图像进行特征提取和语义分割，得到提取的特征点和语义分割结果。(2) 根据特征点和分割结果，采用语义光流法对地图进行初始化，去除动态特征点，创建可靠的初始化地图。(3) 使用反深度滤波器评估地图中的三维地图点是否为动态点，并根据反深度滤波器的评估结果展开地图。(4) 深度滤波扩展后，继续依次对地图进行跟踪、局部映射和回环检测，最终实现基于语义光流和反深度滤波的面向场景的动态视觉 SLAM。如表 1 所示。在TUMRGB-D数据集上，本发明方法与现有的面向场景的动态视觉SLAM系统（这里选取了最具代表性的四种算法，包括DS-SLAM、DynaSLAM、Detect-SLAM和L. Zhang提出的算法）进行了定量比较，其中TUM RGB-D数据集包含一个低动态场景视频序列_ Static和四个高动态场景视频序列w_ halfsphere w_ rpy w_ Static和w_ xyz。定量对比结果表明，本发明在低动态场景和高动态场景中的定位精度都是最高的，能更有效地提高视觉 SLAM 系统应对动态场景的能力，提高系统在动态场景中的定位精度。本发明对于基于视觉传感器的SLAM系统的创新和改进具有很强的实用性，对于未来视觉SLAM系统的广泛应用具有重要意义。

 

        Zhang 等人[33]公开了一种通过使用对象标签在视觉 SLAM 中增强图像特征点的方法和装置，以及一种通过使用对象标签在视觉 SLAM 中增强图像特征点的方法和装置，包括一个视觉特征处理单元，用于从构成通过相机获取的图像的帧中提取特征点，并生成一个视觉词向量，该向量记录技术人员的分布情况，包括所提取特征点的特征信息；一个语义特征处理单元，用于从帧中识别位于特征点区域的物体，并提取关于所识别物体的语义信息；以及一个位置估计单元，用于根据将语义信息添加到视觉词向量中的视觉语义词向量，识别当前位置是否为预先访问过的点。

        Liu等人[34]公开了一种点线特征融合的紧耦合双目视觉惯性SLAM方法，该方法可以在特征点较少和相机快速运动的条件下保证稳定性和高精度。与现有的惯性传感器技术相比，本发明具有以下优点和积极作用：本发明在图像特征点较少的地方，尤其是人工建筑环境中，仍能保证实时连续、稳定、高精度的姿态输出，因此可大大改善自适应工作环境，方法的鲁棒性显著增强，其原理图如图（6）所示。

        

 

        Xing 等人[35] 公开了一种基于双目视觉特征和 IMU 信息的机器人定位和地图构建系统，包括双目信息采集、特征提取和匹配模块。改进的 IMU 初始化和运动模块、视觉 SLAM 算法初始化和跟踪模块、局部映射模块以及循环检测和优化模块。改进后的IMU初始化和运动模块包括IMU角速率偏差估计子模块、重力加速度估计子模块、IMU加速度偏差估计子模块和IMU预积分子模块；IMU角速率偏差估计子模块利用视觉SLAM结果，采用优化方法估计IMU角速率偏差；重力加速度和 IMU 加速度偏差估计子模块利用 IMU 角速率偏差估计子模块的结果，通过它们之间的关系得到 N 个连续关键帧的线性方程，并求解重力加速度；加速度偏差估计是消除重力加速度对 IMU 加速度的影响，将连续当前帧状态的两个关键帧重新组合，求解方程得到重力加速度的重新估计，同时得到 IMU 加速度偏差；IMU 加速度偏差估计子模块利用重力加速度和 IMU 加速度偏差估计子模块的结果，消除重力加速度对 IMU 加速度的影响，通过对连续 N 个关键帧求解方程重新估计重力加速度，同时得到 IMU 加速度偏差；IMU预积分算子模块通过IMU预积分模型将连续两帧图像之间的所有IMU数据积分为一个观测值，从而得到机器人的运动模型和机器人当前的位置和姿态估计。本发明提供了一种基于双目视觉特征和 IMU 信息的机器人定位与地图构建系统。与现有的机器人定位与地图构建系统相比，该系统具有鲁棒性好、精度高、适应性强等特点。其系统流程图如图（7）所示。