[LiteratureReview]A survey of image semantics-based visual simultaneous localization and mapping....

[LiteratureReview]A survey of image semantics-based visual simultaneous localization and mapping: Application-oriented solutions to autonomous navigation of mobile robots
出处：International Journal of Advanced Robotic Systems 2020（ IF = 1.714/Q4，算是和 Robotica一个等级的），Citations：24；作者主要来自东北电力大学，挂了一个澳大利亚伍伦贡大学的老师（材料领域），作者均不是SLAM领域研究者。

Paper：https://journals.sagepub.com/doi/pdf/10.1177/1729881420919185

简述： 语义VSLAM综述性论文，正文13面，参考文献117篇；（首先简述这个领域的优点）VSLAM本身受限于对于图像几何特征的理解，相比之下，语义VSLAM针对higt-level的环境感知可以有效应用位姿估计、闭环检测、构建3D地图等等；（再谈谈自己的工作）论文对语义VSLAM最新的工作进行了论述，主要包括：感知、鲁棒性和准确性等方面的处理方法，并初步提出：“semantic extractor" 的概念和“modern visual simultaneous localization and mapping”的框架；作者认为 多尺度地图表示（multiscaled map representation，是指更高high-level的map）、ObjectSLAM、和深度学习的SLAM是解决图像语义融合的有效方法。

Note：文章还注明了，2019年10月5号接收到论文，2020年2月23号接收发表的；比RAL的三个月时间稍微长一些。

1. Introduction

该部分就正常介绍SLAM在一些应用场景下的作用、SLAM的历史、VSLAM和CV融合的趋势；其次引用了16年的那篇TRO"Past, present, and future of simultaneous localization and mapping: toward the robust-perception age"谈谈VSLAM在第三个阶段的重点方向，如图2；然后给了表1列举了SLAM的主要综述；最后谈到自己文章的outline。

2. The components of a semantic SLAM system

作者将语义SLAM系统分为两块：语义提取器和现代V-SLAM框架，并将语义信息的提取分为：目标检测和语义分割。

2.1 Semantic extractor

Object detection和Semantic segmentation相比，Object detection轻量级；Semantic segmentation获取的是像素级的分类，精度更高。

• Object detection：这里谈到2D 的Object detection的发展，Yolo系列的速度可以适配到SLAM系统。

• Semantic segmentation：同上。

2.2 Modern V-SLAM system

作者认为“Modern V-SLAM system”分为以下几个部分：

• 传感器数据采集：这里特指图像；
• VO：通过图像序列中的相邻帧初步估计机器人的姿态和路标位置；
• 状态估计：利用VO和闭环检测提供的融合结果对状态进行全局估计；
• 重定位：当跟踪失败或地图重新加载时重新定位；
• 回环检测：确定机器人是否回到之前的位置。
• 建图：根据任务的要求进行映射。

数学上，前端任务和后端任务可以分别抽象为“数据关联”问题和“状态估计”问题。

• 前端数据关联：这是介绍了概率模型描述匹配的不确定性。

• 后端状态估计：这里介绍了滤波法和现在的优化法（BA）。

Open-source V-SLAM system ：常用的VSLAM系统：

3. Human–robot–environment interaction: Perception

作者认为语义SLAM的感知应该包括两个部分：理解环境和理解人类；一下是语义SLAM地图的部分工作

3.1 Semantic map

语义地图可以分为：object level 和pixel level。 这一点挺有意思的，并且我认为以后的趋势的object level和pixel level的融合。

3.2 Open problems

• Time-varying semantic map：语义地图对长期鲁邦定位适应性较差，一个理想的解决方案是建立一个时变语义映射，建立场景中物体的时空关系模型。
• Panoptic semantic map：对视野内所有物体进行描述”including everything visible in one view”；全景分割 - 图片内的每个像素都必须分配 semantic label 和 instance id。

4. Environmental adaptation: Robustness

主要分为：feature selection mechanism 和 optimized data association。

4.1 Feature selection mechanism

这里提到Salient DSO的工作，利用显著性区域提取特征点；利用信息熵的概念提取特征区域；以及动态特征的选择；

4.2 Optimized data association

data association分为：短期的数据关联和长期的数据关联，短期的数据关联主要用于tracking，长期的数据关联主要用于回环检测。

4.3 Open problems

主流语义SLAM方法通过选择特征或优化数据关联来提高VO的鲁棒性；这里提到CNN的特征提取器。

5. Reliable navigation: Accuracy

语义可以在SLAM各个 环境增强精度，比如：初始化、后端优化、重定位、回环检测等。如下表所示：

5.1 Monocular scale initialization

这里的两个工作如上表主要是通过目标检测引入真实的尺寸信息。

5.2 Semantic and geometric joint optimization

数据关联优化；这里提到VSO。

5.3 Relocalization and loop closure detection

重定位和回环检测需要的技术是相同的，但是优化的方法不同。

5.4 Open problems

这里提到深度学习端到端的方法，但是可解释性和泛化能力差。

6. Discussions

上面讨论了VSLAM的perception、robustness、accuracy 的问题，以及给了一些开放性问题； 这一节是专门进行宏观的讨论，包括：多尺度地图表达、物体SLAM、弱监督和无监督学习SLAM。

6.1 Multiscaled map expression

这也是一个比较有意思的话题，time-scaled maps 是一个包含时间信息的4D地图；Multiscaled map expression更适合机器人的长期自主定位。

6.2 Object SLAM

这里列举了Object SLAM的方法，包括SLAM++被公认的第一项Object SLAM的方法，和两个主流的方向：CubeSLAM和QuadricSLAM，整个3D目标检测在快速发展。

6.3 Weakly supervised and unsupervised learning SLAM

目前end-to-end的SLAM方法在现有数据集下表现较好，但是泛化和可解释性较差；而无监督学习是一个主要研究方向，以MonoDepth为例的方法。

7. Conclusion

总结了一下本文的工作；深度学习和语义SLAM（这里应该是深度学习和SLAM的结合吧，语义的提取本身大部分的方法都是用dl做的）的结合密不可分。