论文阅读 2021 —— CodeMapping: Real-Time Dense Mapping for Sparse SLAM using Compact Scene

我读啥了自己看标题（今天头疼的厉害，呜呜呜/(ㄒoㄒ)/~~）

1 介绍

之前研究标定SLAM精度的关键是信息点的选择（典型地，角点或边缘点）和相机Pose与地标位置的联合优化。与将地图构建和相机姿态估计分离的密集方法相比，稀疏 SLAM 产生更准确的结果。在实际应用中，稀疏 SLAM 通常与其他传感器融合以提高鲁棒性。然而，稀疏特征图没有视觉信息，不能直接用于无碰撞运动规划或表面感知 AR 等任务。许多方法都尝试同时实现密度映射（dense mapping）和相机自主定位，但是不如稀疏方法效果好，有两点原因：

• dense图像对其易受到光度噪声的影响。
• 大量场景参数限制了实时联合优化。

作者提出了 CodeMapping，这是一种利用稀疏 SLAM 提供的几何先验信息的实时密集映射方法，扩展了 CodeSLAM 中提出的紧凑场景表示以生成稀疏点集。

下图左是一个稀疏点云，右是作者重建出的稠密点云，下是整个场景的点云。

2 系统总览

作者使用一个ORB-SLAM3作为一个稀疏SLAM系统，因为它能够提供多模传感器输入并由SOTA的效果。

跟踪。跟踪使用传感器信息来估计相机相对于map的位姿，ORB-SLAM3执行仅有pose的BA，最小化匹配的投影误差，这个投影误差由当前图像和重建出的map得到。系统会自动决定这帧图像是不是关键帧。

Mapping。用于位姿和集合的精炼。关键帧数据包含相机pose，稀疏深度和再投影误差。其中稀疏深度是3Dlandmark再关键帧上的投影。投影误差是每一个3D landmark再所有帧上面的投影算出的误差的平均值。

稀疏到稠密的预测。利用深度学习预测出更稠密的深度图。

多视角优化。主要是增大depth的精度，后面细讲。下图给出了多视角优化的有效性。

3 稀疏到稠密的预测

3.1 网络结构

作者扩展了条件变分自动编码器 DeepFactors，网络如下图所示。网络输入有三种：灰度图，稀疏深度depth和重投影误差maps。与Code SLAM和DeepFactors相似，depth和重投影误差值归一化在[0,1]之间。输入的三个数据可以concat为一个3通道的输入。

下层网络是一个变分自动编码器（VAE），由分解特征调节的网络。这个网络会生成一个潜在的特征$c$，稠密的深度图预测$D$和一个不确定性图$b$。损失函数由一个深度重建loss和一个KL散度loss构成。其中深度图重建的loss定义为，x表示每一个像素点。若-

$$\sum _x\frac{||D(x)-D_{gt}(x)||}{b(x)}+log(b(x))$$

3.2 训练过程

使用ScanNet数据集中的40w张图片。为了生成输入需要的稀疏depth，在彩色图上利用ORB检测关键点，之后从这先点中从Kinect 深度图中选择1000个关键点。VAE的输入是Kinect生成的原始depth。生成的场景的3D模型投影到当前图像得到的depth作为真值，用于计算loss。

4 多视角优化

提出了几个系数，实际上就是利用自己提出的这几个优化函数，利用DeepFactor的方法进行优化。这几个系数实际上也很常见。

光度系数。这个原理很简单，根据depth和两帧图像之间的变换关系，可以将一个图像warp到另一个图像上，直接做差求和即可。

再投影稀疏。两组图像上有个匹配好的点，利用深度depth和pose，将图像上的一个点投影到另一个图像上，计算两个坐标的差异。

稀疏几何系数。这个就是将两个图像的depth统一到一个图像坐标系下，然后直接算depth的差异。

5 结果图

6 总结

作者说，在未来的工作中，mapper可以扩展到使用语义分割和实例分割来实现更多信息的三维映射。

从结果上来看，效果真的不错，但是利用多张图像预测pose 和depth本身网络种类就很多，尽管作者用了很多辅助信息作为输入，但是网络结构看起来有点简单。所以可能泛化性存在一些问题，期待作者能开源，放自己数据集上试试。

（今天状态不佳，论文写的乱乱的，嘤嘤嘤つ﹏⊂）