[算法整理]可能是最全的无监督/自监督单目深度估计方法汇总 - Part1.5:视频序列篇-续

[算法整理] 可能是最全的自监督/无监督单目深度估计方法汇总 - Part1.5:视频序列篇-续

背景

借着最近开题写开题报告的机会，比较细致地整理了一下之前看过的自监督单目深度估计相关的论文。合计了一下，感觉写篇综述有点太耗时耗力，干脆就在这里分享出来好了。
论文列表持续更新中

• 2022.4.16：视频序列篇-单任务方法：19篇
• 2022.6.21：双目图像篇：17篇
• 2022.6.28：视频序列篇-多任务方法：6篇

广告时间：SMDE-Pytorch

一个基于Pytorch的自监督单目深度估计开发、训练和测试开源工具箱
GitHub
由于近一年都在做自监督单目深度估计的相关工作，自己也动手尝试了不少代码。但自监督单目深度估计一直没有一个像MMsegmentation一样的囊括各种方法的开发工具箱。既然没有那就自己造一个！

• 对于只是想尝试或者体验一下效果的人，该工具箱可以通过简单的配置和命令实现对你自己图像的深度估计。
• 对于科研工作者，该工具箱中提供最近流行方法的预训练模型，以及统一的测试代码，可以方便地进行对比。
• 对于想进一步开发的人，该工具箱可以方便地替换网络结构，损失函数等部分，让你更快速地进行探索和实验（尽请期待）。

工具箱内容持续更新中
如果你对这个工具箱感兴趣，或者觉得这篇汇总有帮助，请到我们的GitHub仓库上留下一个Star催更~

自监督学习的单目深度估计

单目深度估计的目标是从一幅给定的图像中预测一幅深度图，表示图像中每个像素对应的场景与相机之间的距离。基于自监督学习的单目深度估计方法使用深度网络模型完成稠密深度的预测，并且在训练阶段不需要带有深度真值的训练样本，而采用视频序列中的连续帧或双目相机拍摄的图像对作为输入，以图像重建作为目标对深度网络模型进行训练。
根据训练时使用的样本形式，基于自监督学习的单目深度估计方法可以大致被分为两类：采用视频序列训练的方法和采用双目图像训练的方法。

采用视频序列训练的方法

采用视频序列训练的方法在训练阶段以视频序列中的连续帧作为训练样本。由于连续帧之间的相机运动是未知的，这些方法在训练阶段除了估计目标图像的深度图之外，还需要估计目标图像与源图像之间的相机运动。

多任务方法

1.Geonet: Unsupervised learning of dense depth, optical flow and camera pose （CVPR 2018）

原文链接
关键词：光流估计
主观评价：结合深度估计和光流估计的方法之一，通过串行的方式从深度生成的静态场景流估计完整的光流。

2.Self-supervised learning with geometric constraints in monocular video: Connecting flow, depth, and camera（ICCV 2019）

原文链接
关键词：光流估计
主观评价：结合深度估计和光流估计的方法之一，通过并行的两个网络分别估计深度和光流。

3. Competitive collaboration: Joint unsupervised learning of depth, camera motion, optical flow and motion segmentation （CVPR 2019）

原文链接
关键词：光流估计，运动物体分割
主观评价：同时处理深度估计、光流估计和运动物体分割的方法之一，提出一种交替学习的框架来学习多个任务

4. Fine-grained Semantics-aware Representation Enhancement for Self-supervised Monocular Depth Estimation （ICCV 2021）

原文链接/开源代码
关键词：语义分割
主观评价：结合深度估计和语义分割的方法之一，采用两个解码分支分别处理两个任务，并设计了特征交换模块和基于语义的深度对比约束。

5. S3Net: Semantic-Aware Self-supervised Depth Estimation with Monocular Videos and Synthetic Data（ECCV 2020）

原文链接
关键词：语义分割，迁移训练
主观评价：结合深度估计和语义分割的方法之一，利用合成数据（包含深度和语义标签）进行训练。

6. Self-supervised monocular depth estimation: Solving the dynamic object problem by semantic guidance（ECCV 2020）

原文链接
关键词：语义分割
主观评价：结合深度估计和语义分割的方法之一，利用语义信息区分和处理场景中潜在的动态物体。