CVPR2021：推广到开放世界的在线自适应深度视觉里程计

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

Generalizing to the Open World Deep Visual Odometry with Online Adaptation

CVPR2021：推广到开放世界的在线自适应深度视觉里程计

【摘要】

近些年，基于学习的视觉里程计已经展现出了较为可观的结果，但预训练网络在未知环境中很容易失效。在这篇论文中，提出一个用于深度VO的在线自适应网络（借助场景不可知的几何计算和贝叶斯推理的辅助）。与基于学习的位姿估计不同，论文的苏阿女法从深度和光流中解算出位姿，同时通过在线学习新观测的不确定性不断提高单证图像的深度估计。另外，通过差分高斯牛顿层，一种在线学习光度不确定性算法也被用于进一步的深度和位姿估计。论文提出的算法在KITTI室外数据集和TUM室内数据集上得到了验证，实验证明，我们的算法在自监督VO算法中实现了最佳的泛化能力（泛化能力：机器学习算法对新样本的适应能力）。

【主要内容】

经典的SLAM/VO算法由于依赖底层特征因此在弱纹理、动态环境下表现性差，而深度神经网络可以提取高级特征和并通过学习进行端到端的推断，许多基于学习的VO算法已打破了经典VO的限制。在这些算法中，自监督VO算法能通过最小化光度误差同时学习相机位姿、深度和光流。然而基于学习的VO当遇到与预训练环境不同的场景时，表现性能较差，因此预训练网络需要以自监督的方式实现在线自适应。

为提高未知场景下VO的在线自适应能力，论文提出了一种自监督的架构，结合了深度学习和几何计算的优点。

主要贡献：

1. 提出一个泛化的深度VO，其使用场景未知几何公式和贝叶斯推断来加速自监督在线自适应性；

2. 估计的深度不断被贝叶斯融合网络优化，后续用于训练深度和光流

3. 引入在线学习的深度和光流不确定度以实现精度更高的深度估计和差分高斯牛顿优化。

【整体结构】

系统框架图

首先，FlowNet网络估计关键帧和当前帧之间的稠密光流，同时估计光流不确定度映射。另外，使用DepthNet网络估计关键帧的深度均值和不确定度（为当前场景几何提供先验）。通过本质矩阵或PNP从被选择的匹配图像中求解位姿。在线自适应阶段，首先通过可微三角化算法重建了的稀疏深度。然后先验关键帧深度通过贝