原文
Self-supervised Learning with Geometric Constraints in Monocular Video Connecting Flow, Depth, and Camera
摘要
我们提出了GLNet,一个用于从单目视频中学习深度、光流、相机姿态和内在参数的自监督框架,解决了获取此类任务的真实地面真相的困难。我们提出了三个贡献:1)我们设计了新的损失函数来捕获多个几何约束(如极线几何)以及支持多个运动对象(刚性和非刚性)的自适应光度cost;2)我们扩展了模型,使其能够预测相机的内在特性,使其适用于未校准的视频;3)我们提出了一些在线微调策略,这些策略依赖于我们在训练和测试中自我监督损失的对称性,特别是优化模型参数和/或不同任务的输出,利用它们之间的相互作用。在所有几何和光度约束下,联合优化系统输出的思想可以看作是经典束平差的一个密集推广。我们在KITTI和Cityscapes上证明了我们的方法的有效性,其中我们在多个任务上都优于以前的自监督方法。对于迁移学习,我们也有很好的推广性。
本文的贡献
在这项工作中,我们引入了一个自监督的几何学习框架GLNet,它旨在整合现代基于深度学习的自监督系统的优点
(a) 没有标记数据的培训,
(b) 提供密集的重建,在那里先前的知识可以自动合并,
(c)利用多个相互关联的任务——与运动中的经典结构任务——进行交互
(i) 显式表示始终保持的精确数学关系(例如极线约束),
(ii)能够在自适应光度和几何约束下,如在束调整中,联合优化所有输出,包括深度、姿势和相机内部特性,
(iii)打破训练与测试的不对称。
方法
本文提出的几何学习网络解决了单目深度预测,光流预测,相机位姿和相机内参预测间接连接的问题。输出表示为A={D,R,t,K,F}
**本文提出了一个由两部分组成的优化目标:**一部分是捕获静态和动态结构外观相似性的自适应光度一致性损失,
另一部分是由耦合刚性和视运动的多个组件组成的几何损失。
在训练过程中,利用优化目标作为代理监督信号来学习预测参数。在推理过程中,我们可以根据训练中使用的相同准则进一步细化预测,并且我们可以专注于细化模型参数或输出,这与几何束平差没有什么不同。由我们的自监督目标和经典几何约束的显式表示实现的。
运动学表示
三维刚体变换可以用齐次坐标表示,用旋转矩阵和平移矢量表示为:
相机内参:
运动变换:
自适应光度损失
损失计算为合成图像和实际图像之间的光度差,其中合成是通过在第一帧中进行三维重建,然后在第二帧中进行刚性位移和透视投影获得的。然而,这种位移只适用于与自我运动一致的场景结构,或根据全局刚性位移移动。对于次级或非刚性运动的物体,自适应方法是必要的,我们在这里进行研究。
多视图三维结构一致性
以往大多数基于学习的结构估计方法都是从单一角度预测深度的,这可能会产生问题,因为单目估计本身就是不适定的,而且尺度不明确。为了增强结构的一致性,本文设计了一个loss组件来跨多个视图保留三维结构。
光流的极线约束损失
在经典的几何方法中,极线约束被广泛应用,用来计算非线性束平差过程的闭合解。极为重要的是,在现有的基于深层学习的结构和运动预测系统中,极线约束是耦合三维场景投影的代数关系。为了使学习过程具有几何感知,我们将极线约束作为对光流计算的稠密对应的惩罚。生成的极线约束丢失写入:
参数自适应
这是可能的,因为我们的目标是自我监督的,因此它消除了训练和测试之间的不对称性。因此,无论是针对模型参数还是针对模型输出的在线精化过程都是可能的,并且可以利用任务相关性实现最佳性能和模型对新环境的自适应。
Network Architecture
实验