从5个经典工作开始看语义SLAM

Sy　73

于 2024-02-18 12:15:37 发布

阅读量622

点赞数 20

本文链接：https://blog.csdn.net/weixin_42511255/article/details/136156726

版权

本文概述了Semantic SLAM的主要思想，包括如何利用物体信息提升SLAM性能，以及Semantic Mapping和Real Semantic SLAM的发展方向。Semantic SLAM通过结合语义分割、目标检测等技术，不仅帮助构建高层次地图，还提高了定位精度。文章探讨了Recursive Bayes方法、Object-based Mapping、重投影误差优化等技术，并引用了多个研究工作作为示例。

摘要由CSDN通过智能技术生成

本文试图概括Semantic SLAM的主要思路和近年工作，⻓期更新。但因水平有限，若有错漏，感谢指正。(更好的公式显示效果，可关注文章底部的公众号)

Semantic SLAM

简介

至今为止，主流的 SLAM 方案 [[1]](http://webdiis.unizar.es/~rau… 基于处于像素层级的特征点，更具体地，它们往往只能用角点或边缘来提取路标。人类是通过物体在图像中的运动来推测相机的运动，而非特定像素点。

Semantic SLAM 是研究者试图利用物体信息的方案，其在Deep Learning的推动下有了较大的发展，成为了相对独立的分支，就方法(非设备)而言，其在整个SLAM领域所处位置如下图：

目前而言，所谓 Semantic 是将基于神经网络的语义分割、目标检测、实例分割等技术用于 SLAM 中，多用于特征点选取、相机位姿估计，更广泛地说，端到端的图像到位姿、从分割结果建标记点云、场景识别、提特征、做回环检测等使用了神经网络的方法都可称为 Semantic SLAM [[2]](https://zhuanlan.zhihu.com/p/…。

语义和 SLAM 的结合的体现有以下两点 [[3]](https://book.douban.com/subje…：

SLAM 帮助语义。
检测和分割任务都需要大量的训练数据，在 SLAM 中，由于我们可以估计相机的运动，那么各个物体在图像中位置的变化也可以被预测出来，产生大量的新数据为语义任务提供更多优化条件，且节省人工标定的成本。
语义帮助 SLAM。
一方面，语义分割把运动过程中的每一张图片都带上语义标签，随后传统 SLAM 将带标签的像素映射到3D空间中，就能得到一个带有标签的地图。这提供了高层次的地图，有利于机器人自主理解和人机交互。

另一方面，语义信息亦可为回环检测、Bundle Adjustment 带来更多的优化条件，提高定位精度。

仅实现前者的工作往往称为 Semantic Mapping，后者才认为是真正的 Semantic SLAM。