复杂环境下视觉SLAM闭环检测方法综述

转载请注明出处：https://blog.csdn.net/q_z_r_s/article/details/100587433

机器感知 一个专注于SLAM、三维重建、机器视觉等相关技术文章分享的公众号

1 引言（Introduction）

闭环检测是SLAM系统的重要组成部分，在消除累积误差方面起着非常重要的作用．没有闭环检测的SLAM系统退化为里程计，在长期大范围的导航和定位中，单纯依靠里程计的状态估计会出现严重偏差．一个真阳性闭环（被预测为闭环的真闭环）能够显著降低系统的累积误差，但一个假阳性闭环（被预测为闭环的假闭环）可能使整个图优化算法收敛到完全错误的值.

典型的基于视觉的闭环检测系统结构如图 2 所示．图像数据库、地图点的拓扑信息和度量信息、路标点的几何信息一起构成了对地图的描述．拓扑信息是指机器人运动的连续性，相邻的图像代表着地图上邻近的地方；度量信息是指场景之间的相对位置和方向信息；几何信息是指图像特征的 3 维信息及其数据关联．当新的观测信息到来时，先将其转化为对场景的描述，然后和地图信息进行比对，最后通过决策模型来对闭环进行识别．在知道机器人的状态转移方程的情况下，同样可以将其加入到决策模型中，但并不是系统必须的（故在图中用虚线箭头表示）．此外，如果闭环识别成功，则对地图信息进行 1 次更新．

2 场景描述（Place description）

场景描述方法主要包括：(1) 局部特征描述子(SIFT, SURF, ORB等)；(2) 全局描述子；(3) 局部区域的全局描述子；(4) 结合深度信息的场景描述；(5) 场景的时变描述.

2.1 局部特征描述子

基于局部特征描述子的闭环检测技术有：视觉词袋模型，它离线将大量特征的描述子进行聚类，最终形成视觉词汇，这样每一副图片就可用 1 个二进制向量来表示，向量的长度是视觉词汇的总个数，图像间共享词汇的数量用以度量图像间的相似度，避免了极其耗时的特征匹配过程．由于视觉词汇都是预训练的，在不同场景下的泛化能力是一个很重要的问题 .

另一种思路是研究更具鲁棒性的特征点和描述子．由于现在广泛应用的特征都是人工设计的，这种源于人类直觉的特征并不一定能很好地表达图像的结构，通过大量的数据让机器自己学习合适的特征表示，是目前常用的一种途径．

2.2 全局描述子

使用全局描述子的方法直接去计算整张图像的描述子．广泛使用的全局描述子是有Gist 描述子、直接用 PCA（principal component analysis）降维方法生成线性图像特征、采用全景彩色图片的直方图结合最邻近学习来进行图像匹配、局部特征点的描述子同样可用来生成图像的全局描述，例如，先对图像进行下采样，然后围绕下采样后的图像中心计算 BRIEF（binary robust independent elementary feature）描述子，这种方式易于实现而且效率很高，适用于一些大规模的SLAM 应用．

另一种思路也是利用深度学习进行场景描述，对AlexNet实验表明卷积网络的低层conv3对外观变化更具鲁棒性，而高层 fc6 对外观变化更具鲁棒性 .低层生成的描述子对图像的描述更加精细，因而对场景的区分能力更强，而高层生成的描述子相对粗糙，但包含更多的语义信息．如何融合各层网络生成的特征以获得对场景更好的描述，对闭环检测来说仍然是有待研究的问题．

以图像分类为目标训练的卷积核更倾向于抓取那些有可能成为图像分类目标的细节，而忽略掉建筑物等不是分类目标的事物．这个特点对闭环检测来说是不利的，人、汽车这些都是动态的场景，而闭环检测的相似度计算应该集中于静态事物上才能应对场景的变化，比如楼房、路灯等．为解决这个问题，有 3 种常用思路：(1) 微调现有的CNN；(2) 重新设计CNN；(3) 采用语义分割对动态和静态场景进行分离．

2.3 局部区域的全局描述子

局部特征点描述子和全局描述子优势互补的特点，使得很多研究者开始使用全局描述的方法来对图像的局部区域生成描述子，各个局部区域的描述子合在一起形成对当前场景的描述．这种方法的关键在于如何生成稳定的局部区域，使其在环境条件发生变化时也能保证一定的可重复性．

目标检测中局部区域提取方法有：EdgeBoxes、RPN等；从原始图像中生成局部区域，再对局部区域生成全局描述子的方法，其优势是一方面兼顾了外观不变性和视角不变性，另一方面它使场景的定义更加灵活. 现有方法的问题还在于需要一种稳定性、语义性更强同时又兼顾效率的局部区域生成方法．

2.4 结合深度信息的场景描述

深度信息结合语义分割可生成更高级的语义特征来描述场景，从而增强对环境的认知能力．对闭环检测而言，由深度信息结合图像信息建立的语义特征，不仅增强了对外观变化和视角变化的适应能力，而且简化了地图描述，节省了存储空间，因为语义地图只需要存储特征的语义标签即可，而不是整个 3 维信息，例如SLAM++，此外，深度信息还可结合多视图几何来对生成的闭环进行验证，剔除错误的闭环．

省略…

4 闭环检测的性能评价（Evaluation of the loop-closure detection）

闭环检测常用的2项性能评价指标是准确率和召回率，其计算公式如下：

其中，$T_P$表示正确的闭环数目，$F_P$表示错误的闭环数目，$F_N$表示未被检测出的真闭环数目．

省略…

6 结语（Conclusions）

闭环检测在计算机视觉和深度学习发展的推动下已经取得了很大的进步，很多算法已经取得了较好效果，但这些算法的实时性、可扩展性、鲁棒性以及在各种环境下的泛化能力仍需进一步研究. 要解决上述问题，还需要借助深度学习、目标识别、语义分割等相关领域的进一步发展．

参考文献

刘强, 段富海, 桑勇, et al. 复杂环境下视觉SLAM闭环检测方法综述[J]. 机器人, 2019, 41(01):114-125+138.