论文笔记-深度估计(7)-CNN-SLAM Real-time dense monocular SLAM with learned depth prediction

CVPR2017_CNN-SLAM Real-time dense monocular SLAM with learned depth prediction

关键词：基于CNN的单张图深度估计，语义SLAM，半稠密的直接法SLAM

作者提出了一个利用CNN结合SLAM的应用，其SLAM过程如上图，具体解释如下：

• 作者首先筛选出关键帧，在关键帧上用训练好的CNN网络[1]来预测单帧图深度值得到深度图，并以此深度图作为SLAM架构先验深度。同时在关键帧上用训练好的另一个CNN网络来做语义分割。
• 随后像直接法SLAM的一样做BA（Bundle Adjustment），用高斯牛顿法，基于pose graph方法优化得到pose，和普通的半稠密 SLAM过程基本一样。
• 将深度图和语义分割图融合进全局已有的场景深度图（实际上是三维地图点集合了）和三维语义分割图中

作者的主要贡献是提出一个不确定性传播框架，将新产生的深度融合进已有的场景深度中，并refine CNN网络得到的深度（融合和普通深度融合比较相似，但refine过程和《Semi-densevisualodom- etry for a monocular camera》相似）。

此过程中，每个关键帧带一个深度图，一个(深度)不确定图（之所以称为图是因为不确定值与深度图的每个值一一对应），一个pose。不确定图是由当前关键帧的和最近邻