第一个「视觉惯性里程计+深度图」 的数据集 && 用VIO实现的无监督深度图补全方法

第一个提出 「视觉惯性里程计+深度图」 的数据集 “Visual Odometry with Inertial and Depth” (VOID) dataset

论文名称 《Unsupervised Depth Completion from Visual Inertial Odometry》

期刊：ICRA2020

作者：加州大学洛杉矶分校

本文代码：https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry

本文制作的首个VOID数据集：https://github.com/alexklwong/void-dataset

本文使用的VIO方法：https://github.com/ucla-vision/xivo

本文描述了一种通过摄像头运动和视觉惯性里程计估计的稀疏深度推断密集深度的方法。不同于来自激光雷达或结构光传感器的产生的点云，我们只有几百到几千的点，不足以了解场景的拓扑结构。我们的方法首先构建了场景的分段平面的框架，然后使用这些框架、图像和稀疏点推断密集深度。我们使用一种预测的交叉模态标准，类似于 “自我监督”，测量不同时间的光度一致性、前后姿态一致性以及与稀疏点云的几何兼容性。

本文提出了第一个视觉惯性 + 深度数据集，我们希望这将有助于进一步探索视觉和惯性传感器的互补优势。为了将我们的方法与之前的工作进行比较，我们采用了无监督的 KITTI 深度完成基准，在该基准中我们实现了最优的性能。

本文的工作实现了如下图所示功能：左上为输入RGB图像，左下为来自VIO的轨迹和稀疏重建点。右上为本文方法得到的稠密点云结果