Unsupervised Scale-consistent Depth and Ego-motion Learning from Monocular Video（2019.10）

 

摘要

    最近CNN网络可以从未标注单目视频中学习深度和位姿估计，但由于不确定的运动物体导致效果受限，这些运动物体违反了几何图像重建在固定场景下的假设，由于没有足够的约束导致在不同实例中网络输出尺度不一致的结果。如：由于每帧图像的尺度模糊使得自运动网络不能提供完整的相机轨迹。本文对尺度一致性预测提出几何一致性loss，并引入self-discover mask来解决运动物体和遮挡。

 

介绍

    对视频中选取任意两帧图像，将一帧图像深度图转换到3D空间，然后根据估计的自运动投影到另一帧上，最后对映射和估计的深度图的不一致性进行最小化。这将使深度网络从连续图像中估计出几何一致的结果，并且帧与帧之间的一致性可以传递到整个视频序列。由于自运动尺度与深度尺度联系密切，可以从自运动网络中估计出尺度一致的相对相机位姿。

    有关运动物体，之前的方法使用额外的光流或语义分割网络，但是计算量加大。我们的方法可以从提出的几何一致性项中自动找到一个mask来解决。并且可以定位属于动态、遮挡或者复杂区域的像素。通过给这些像素低权重避免它们对图像重建loss的影响（Figure 2）。

        图二：从上到下：采集图像，估计深度，自发现mask。 提出的mask可以有效识别遮挡物和运动物体

贡献：

• 提出几何一致性约束使估计的深度和自运动的尺度一致
• 在之前的几何一致性约束前提下，提出一个self-discovered mask解决动态场景和遮挡。不需要额外的光流或易于分割网络

 

2 相关工作

• Grag：<