[算法整理]可能是最全的无监督/自监督单目深度估计方法汇总 - Part2:双目图像篇

[算法整理] 可能是最全的自监督/无监督单目深度估计方法汇总 - Part2:双目图像篇

背景

借着最近开题写开题报告的机会，比较细致地整理了一下之前看过的自监督单目深度估计相关的论文。合计了一下，感觉写篇综述有点太耗时耗力，干脆就在这里分享出来好了。
论文列表持续更新中

• 2022.4.16：视频序列篇-单任务方法：19篇
• 2022.6.21: 双目图像篇：17篇
• 视频序列篇-多任务方法

广告时间：SMDE-Pytorch

一个基于Pytorch的自监督单目深度估计开发、训练和测试开源工具箱
GitHub
由于近一年都在做自监督单目深度估计的相关工作，自己也动手尝试了不少代码。但自监督单目深度估计一直没有一个像MMsegmentation一样的囊括各种方法的开发工具箱。既然没有那就自己造一个！

• 对于只是想尝试或者体验一下效果的人，该工具箱可以通过简单的配置和命令实现对你自己图像的深度估计。
• 对于科研工作者，该工具箱中提供最近流行方法的预训练模型，以及统一的测试代码，可以方便地进行对比。
• 对于想进一步开发的人，该工具箱可以方便地替换网络结构，损失函数等部分，让你更快速地进行探索和实验（尽请期待）。

工具箱内容持续更新中
如果你对这个工具箱感兴趣，或者觉得这篇汇总有帮助，请到我们的GitHub仓库上留下一个Star催更~

自监督学习的单目深度估计

单目深度估计的目标是从一幅给定的图像中预测一幅深度图，表示图像中每个像素对应的场景与相机之间的距离。基于自监督学习的单目深度估计方法使用深度网络模型完成稠密深度的预测，并且在训练阶段不需要带有深度真值的训练样本，而采用视频序列中的连续帧或双目相机拍摄的图像对作为输入，以图像重建作为目标对深度网络模型进行训练。
根据训练时使用的样本形式，基于自监督学习的单目深度估计方法可以大致被分为两类：采用视频序列训练的方法和采用双目图像训练的方法。

采用双目图像训练的方法

采用双目图像训练的方法在训练阶段以双目相机拍摄的图像对作为训练样本。不同于视频序列图像之间相机运动的位姿未知，拍摄双目图像的相机相对位置是固定的，所以采用双目图像训练的方法只需要预测目标图像的深度图。考虑到双目图像中像素的视差与场景深度呈反比关系，所以这些方法来也可以预测视差图，并转换为深度图。

双目方法

1.Unsupervised cnn for single view depth estimation: Geometry to the rescue（ECCV 2016）

原文链接
关键词：通过图像重建学习单目深度估计
主观评价：必读，作为第一篇“无监督”的单目深度估计文章值得一读，但里面的一些方法（包括网络结构和使用的数据集）已经有点过时了。

2.Unsupervised monocular depth estimation with left-right consistency（CVPR 2017）

原文链接/开源代码
关键词：光度一致损失、左右一致性约束
主观评价：必读，利用双目图像训练的经典之作，其中带有SSIM的光度一致损失、加权平滑损失一直到现在仍然被广泛使用；在输入一幅图像时同时估计双目图像深度的做法也很有创意。

3.Bilateral cyclic constraint and adaptive regularization for unsupervised monocular depth prediction（CVPR 2019）

原文链接
关键词：双循环一致性、自适应正则损失
主观评价：在损失函数上做出创新的方法之一，提出了双循环一致性，即将左侧深度投影到右侧，再投影回左侧，以次排除图像中的遮挡区域。

4.Learning monocular depth estimation with unsupervised trinocular assumption（3DV 2018）

原文链接
关键词：三视角假设
主观评价：在网络结构上做出创新的方法之一，通过将双目图像中的左右图像分别作为“中间”图像，训练不同的解码分支，缓解遮挡区域对训练造成的影响。

5.Superdepth: Self-supervised, super-resolved monocular depth estimation（ICRA 2019）

原文链接
关键词：超分辨率网络、亚像素卷积
主观评价：在网络结构上做出创新的方法之一，通过亚像素卷积提高输出深度图的分辨率

6. Refine and distill: Exploiting cycle-inconsistency and knowledge distillation for unsupervised monocular depth estimation （CVPR 2019）

原文链接
关键词：蒸馏学习
主观评价：在网络结构与训练策略上做出创新的方法之一，用网络将图像重建误差整合到学习过程中，并提出一种基于自蒸馏的方法。

7. Generative adversarial networks for unsupervised monocular depth prediction （ECCV 2018 Workshop）

原文链接
关键词：对抗生成
主观评价：在损失函数上做出创新的方法之一，个人认为使用对抗生成方法评价图像重建的质量是一个很好的思路，但从定量结果上来看效果有限。

8. Excavating the Potential Capacity of Self-Supervised Monocular Depth Estimation （ICCV 2021）

原文链接/开源代码/SMDE-Pytorch中已复现
关键词：数据增强，自蒸馏
主观评价：在训练策略和网络结构上做出创新的方法之一，个人认为文章风格和2019年的Monodepth2很像，主要通过一些训练上的手段有效提升精度。

9. Towards scene understanding: Unsupervised monocular depth estimation with semantic-aware representation（CVPR 2019）

原文链接
关键词：多任务估计
主观评价：结合语义信息的方法之一，提出了一种很有趣的网络结构，通过控制特征中的某一层输入达到切换网络执行任务的目的。

10. The edge of depth: Explicit constraints between segmentation and depth（CVPR 2020）

原文链接/开源代码/SMDE-Pytorch中已复现
关键词：多任务估计
主观评价：值得一读，结合语义信息的方法之一，提出了将深度边缘和语义边缘对齐，同时提出了一种遮挡区域定位方法。

11. Self-Supervised Monocular Depth Hints（ICCV 2019）

原文链接/开源代码/SMDE-Pytorch中已复现
关键词：预先通过SGM计算视差作为伪标签
主观评价：必读，在训练策略上做出创新的方法之一，文章的动机非常直接，分析清晰，而且效果很好，后续很多方法都采用了这个策略提升纸面上的精度。

12. Learning monocular depth estimation infusing traditional stereo knowledge （CVPR 2019）

原文链接
关键词：结合双目匹配
主观评价：在网络结构上做出创新的方法之一，先通过单幅图像合成双目图像的特征，再用类似双目匹配的方法生成深度；同样也用到了预先计算的视差。

13.Revealing the Reciprocal Relations Between Self-Supervised Stereo and Monocular Depth Estimation （ICCV 2021）

原文链接
关键词：从双目深度估计结果学习单目深度估计
主观评价：在训练策略上做出创新的方法之一，通过双目深度估计的结果作为监督来训练单目深度估计网络。

14. Adaptive confidence thresholding for monocular depth estimation（ICCV 2021）

原文链接
关键词：从双目深度估计结果学习单目深度估计
主观评价：在训练策略上做出创新的方法之一，通过一个自适应学习的置信度阈值来选择双目深度估计的结果训练单目深度估计网络。

15. Forget About the LiDAR: Self-Supervised Depth Estimators with MED Probability Volumes（NeurIPS 2020）

原文链接/开源代码/SMDE-Pytorch中已复现
关键词：离散形式的深度表示
主观评价：必读，个人认为开创了一种新的自监督训练范式，虽然训练开销比较大，但精度明显优于同时期其他方法。

16. PLADE-Net: Towards Pixel-Level Accuracy for Self-Supervised Single-View Depth Estimation With Neural Positional Encoding and Distilled Matting Loss （CVPR 2021）

原文链接/开源代码
关键词：结合抠图方法对单目深度估计方法进行微调。
主观评价：主要在训练策略上做出创新的方法之一，题目很直白地描述了文章所采用的方法，生成的深度定性定量精度都很高。

17.Self-Supervised Deep Monocular Depth Estimation with Ambiguity Boosting （TPAMI 2021）

原文链接
关键词：基于置信度的训练框架
主观评价：主要在训练策略上做出创新的方法之一，提出对输入图像进行多种缩放变换之后融合结果进行蒸馏训练。