机器人建图的一些方法总结

写在前面

作为专攻机器人建图领域的研究生，不知道自己需要掌握多少知识，也不知道之后的发展方向，但多学一些知识总是没错的。
但是网上没有系统总结各种建图算法的博客，不能横向学习是很遗憾的事情。
因此这篇博客用来总结学习到的一些建图方法吧，希望能够给一些同样领域的人带来些许帮助。
同时如果大家有什么建图方面推荐的文章也可以在评论区讨论
（建图方向的大佬们求拉一把，呜呜呜，太难了）

经典地图表示方法

1.Voxel (Occupancy grid map)

普通的体素地图，把整个空间分成栅格，每个体素存储信息。坐标索引查询。
这个我倒是没遇到过

2.Mesh

网格地图，存储障碍物的表面信息。我理解的是把命中云连接起来就可以得到。一般都是图像生成的。
示意图大概就是这样子，matlab中的mesh。
如MIT的Kimera和一系列衍生物。

3.Surfel

点和面片组成，面片包括半径、法向量。一般也都是图像生成的。
第一篇应该是ElasticFusion，但是最出名的是SUMA++。

4.OctoMap

其实这可以说是我接触的第一个建图方法了，OctoMap凭借其高效存储的特点成为最经典的建图方法。
最经典，用起来也简单，已经嵌入ROS了，一般都是其基础上改进。

5.Voxel Hashing

为解决 volumetric fusion 重建时，重建的空间划分成等大小的 voxel，显存消耗太多，难以重建大场景，并且大量 voxel 更新耗费 GPU 资源问题，斯坦福图形学组提出了 voxel hashing 算法（参考文献：”Real-time 3D Reconstruction at Scale using Voxel Hashing”），voxel hashing 只在相机测量到的场景表面划分 voxel，而不是将整个空间都划分成 voxel，从而节省显存。算法用 hash 表的形式存储在场景表面划分的 voxel block（8x8x8 voxels），方便 voxel block 的查询。
用的最多的了，比如密歇根大学的S-BKI，BGK以及一系列衍生物还有我自己。

6.TSDF

属于隐式表面构建，假设有个相机传感器对环境进行观测，障碍物是一个曲面，相机与障碍物之间存在一个距离场，距离场里的数值表示当前点距离临近障碍物最接近的点之间的距离，障碍物外面的数值为正，障碍物内部为负数，并且可以以距离的大小来进行截断，比如正负两米内的点保留，不关心两米以外的点。然后把单元结果给marching cube算法构建表面。
经典，但没看到过。

7.ESDF

当进行轨迹规划时，需要知道机器人距离障碍物的梯度，所以不需要TSDF进行截断。保存体素到其最近障碍物的距离。
比如最经典的ETH的VoxBlox以及一系列衍生物。

先进语义建图算法

1.Kimera

Kimera an Open-Source Library for Real-Time Metric-Semantic Localization and Mapping
MIT的，很出名。这算是一个SLAM框架了，从定位、位姿图优化到建图整个过程都有。最后剪出来了mesh地图。后面还衍生出multi-kimera。

2.High Order CRFs

Semantic 3D Occupancy Mapping through Efficient High Order CRFs
卡内基梅隆大学，CRF优化的经典文章。

3.SemanticFusion

SemanticFusion Dense 3D Semantic Mapping with Convolutional Neural Networks
使用神经网络，以图片输入，达到了很好的建图效果。

4.SUMA++

SuMa++ Efficient LIDAR-based Semantic SLAM
波恩大学的。也算是一种slam框架。直接使用点云分割，里程估计只用静态物体，从而语义精度也提高了。

先进连续建图算法

1.GPOM

Gaussian process occupancy maps
使用修正高斯过程作为非参数贝叶斯学习技术，引入地图上点之间的依赖关系，从而连续化，可以实现任意分辨率。

2.Hilbert map

Hilbert maps Scalable continuous occupancy mapping with stochastic gradient descent
也是分辨率任意，把数据投影到希尔伯特空间，在这个空间训练逻辑回归分类器。

3.BGKOctoMap-L

Learning-aided 3D Occupancy Mapping with Bayesian Generalized Kernel Inference
将传统的计数模型CSM进行扩展，使用核函数光滑处理之后，就可以考虑到周围体素的观测了。-L增加了一个新的创新点，是离散点的采样。

4.AKIMap

Adaptive Kernel Inference for Dense and Sharp Occupancy Grids
在BGKOctoMap基础上，核函数不再是径向基的，自适应地改变方向，适应边界。

先进全景建图算法

1.PanopticFusion

PanopticFusion: Online Volumetric Semantic Mapping at the Level of Stuff and Things
算是第一篇全景三维建图的，也是构建的mesh地图，图片语义分割加目标检测。主要难点在于前后帧同一个物体的检测。

2.Reconstructing Interactive 3D Scenes

Reconstructing Interactive 3D Scenes by Panoptic Mapping and CAD Model Alignments
加利福尼亚大学洛杉矶分校。主要偏向于从全景地图转化为CAD可操作性的模型，从而可用于机器人任务规划。它的全景主要要包括物体的可操作性属性，而且具有连接图，也算是3D场景图。

3.VoxBlox++

Volumetric Instance-Aware Semantic Mapping and 3D Object Discovery
也是ETH的，所以也是TSDF建图。把几何分割和语义实例分割结合起来，这样不仅知道了训练好的实例，还能发现没有训练过的实例。

4.Panoptic-mope

Panoptic 3D Mapping and Object Pose Estimation Using Adaptively Weighted Semantic Information
RGB全景+物体6D姿态，构建了surfel地图。主要创新在物体姿态估计，相机位姿中考虑各种误差，是个网络。

5.Meaningful Maps

Meaningful Maps With Object-Oriented Semantic Mapping
两层，在普通点云基础上进行实例分割，知道点云中那些是物体，物体的这一部分点云会一起移动。

先进3D场景图算法

1. A Sparse and Semantic Representation

A Sparse and Semantic Representation of Physical Environments for Intelligent Agents
时间上来看属于第一篇3D场景图的，但不太严格算。因为是每个图像生成一个场景图，然后一系列图像连接起来，融合为全局的。

2. A structure for unified semantics, 3D space, and camera

3D Scene Graph: A structure for unified semantics, 3D space, and camera
公认的第一篇，真正从三维角度建立的场景图。输入三维网格地图和环视图像，输出整个建图的图，包括对象层，房间层，相机层。把图像中检测出来的东西放到了三维地图中。

3. Learning 3D Semantic Scene Graphs

Learning 3D Semantic Scene Graphs from 3D Indoor Reconstructions
google搞得。提出了3DSSG数据集，系统介绍了一个三维场景图中应该有的东西。自己也提出了一个网络，从点云中得到三维场景图。这篇不错。

4. SceneGraphFusion

SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D Sequences
应该是学妹复现的这篇。输入图像和深度图像，点云分割之后提取节点和边。也挺不错的。

5. 3D Dynamic Scene Graphs （Kimera）

3D Dynamic Scene Graphs: Actionable Spatial Perception with Places, Objects, and Humans
MIT的大作，期刊是IJRR。kimera基础上做的，除了第一层是实时构建，后面都是完成建图之后自动搞出来的。构建了一个贼复杂的场景图，每一层之间耦合。工作量很大：构建可用于机器人导航的空闲空间拓扑图，人和机器人地时空图，分割房间，，，

6. Graph-to-3D

Graph-to-3D: End-to-End Generation and Manipulation of 3D Scenes Using Scene Graphs
这个算是反过来的，从场景图构造环境。端到端的方式，还允许场景修改，可能这就是元宇宙吧。

先进动态建图算法

1. TSDF-based Change Detection

TSDF-based Change Detection for Consistent Long-Term Dense Reconstruction and Dynamic Object Discovery
也是ETH的（ETH比较喜欢TSDF呀），实现静态地图构建和动态物体获取。建图过程主要是更新静态地图，完成建图之后可以检测动态物体。当然建图过程中也需要先检测动态物体。之前动态物体检测，是在点云、surfel或地图上进行的，不能区分未被探索的部分和空闲区域，TSDF可以完成。