tensorflow 语义slam_语义SLAM研究现状总结

博客转载自：https://blog.csdn.net/xiaoxiaowenqiang/article/details/81051010 原文标题：深度学习结合SLAM 语义slam 语义分割 端到端SLAM CNN-SLAM DenseSLAM orbslam2 + ssd LSD-SLAM + CNN SemanticFusion Mask

深度学习结合SLAM 研究现状总结

1. 用深度学习方法替换传统slam中的一个/几个模块：

特征提取，特征匹配，提高特征点稳定性，提取点线面等不同层级的特征点。

深度估计

位姿估计

重定位

其他

目前还不能达到超越传统方法的效果，

相较传统SLAM并没有很明显的优势(标注的数据集少且不全，使用视频做训练数据的非常少。

SLAM中很多问题都是数学问题，深度学习并不擅长等等原因)。

2. 在传统SLAM之上加入语义信息

图像语义分割

语义地图构建

语义SLAM算是在扩展了传统SLAM问题的研究内容，现在出现了一些将语义信息集成到SLAM的研究，

比如说用SLAM系统中得到的图像之间的几何一致性促进图像语义分割，

也可以用语义分割/建图的结果促进SLAM的定位/闭环等，前者已经有了一些研究，

不过还是集中于室内场景，后者貌似还没有什么相关研究。

如果SLAM和语义分割能够相互促进相辅相成，应该能达到好的效果。

另：使用SLAM帮助构建大规模的图像之间有对应关系的数据集，

可以降低深度学习数据集的标注难度吧，应该也是一个SLAM助力深度学习的思路。

6

3. 端到端SLAM

其实端到端就不能算是SLAM问题了吧，SLAM是同步定位与地图构建，端到端是输入image输出action，没有定位和建图。

- 机器人自主导航(深度强化学习)等

1. 用深度学习方法替换传统slam中的一个/几个模块：

A. CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction

基于CNN的单张图深度估计，语义SLAM，半稠密的直接法SLAM.

将LSD-SLAM里的深度估计和图像匹配都替换成基于CNN的方法，取得了更为robust的结果，并可以融合语义信息.

鉴于卷积神经网络(CNN)深度预测的最新进展，

本文研究了深度神经网络的预测深度图，可以部署用于精确和密集的单目重建。

我们提出了一种方法，其中CNN预测的稠密深度图与通过直接单目SLAM获得的深度测量自然地融合在一起。

我们的融合方案在图像定位中优于单目SLAM方法，例如沿低纹理区域，反之亦然。

我们展示了使用深度预测来估计重建的绝对尺度，从而克服了单眼SLAM的主要局限性之一。

最后，我们提出一个框架，从单个帧获得的语义标签有效地融合了密集的SLAM，从单个视图产生语义相干的场景重构。

两个基准数据集的评估结果显示了我们的方法的鲁棒性和准确性。