qunniem的博客

单目图像深度估计 - 泛化篇：S2R-DepthNet偶然看到微软亚研的单目图像深度估计发表在了CVPR2021上，决定更新一下这个系列。官方已经有了十分详细的论文解读，我认为这篇文章比较有意思的观点在于认为：人的视觉系统更倾向于利用形状结构特征进行判断，而卷积神经网络则更依赖纹理特征进行判断。因此把图像中的结构信息和纹理信息解耦，利用结构信息进行深度预测。CNN依赖于纹理应该是个不争的事实，最近人工智障把橘子形状的杯子识别成橘子，还有无法解读MEME的事情已经成了互联网上的梗，可见虽然CV热门了这么多

单目图像深度估计 - 方法比较篇：Evaluation of CNN-based Methods今天的论文阅读笔记是关于以下这篇论文：[1] Evaluation of CNN-based Single-Image Depth Estimation Methods, CVPR, 2018这篇文章提出了一个新的数据集，分析了已有CNN单目图像深度估计算法存在的问题，并且实验对比了已有的经典算法，可以算是一篇小综述。写完这篇阅读笔记，深度估计这一系列就告一段落，接下来希望抛开理论多做一些实验。单目图像

单目图像深度估计 - SLAM辅助篇：MegaDepth今天的论文笔记是关于以下这篇Paper：[1] MegaDepth-Learning Single-View Depth Prediction from Internet Photos, CVPR, 2018 [Project Page]CVPR的单目深度估计论文有很多，粗略的看了一圈，决定写这篇。之前的博客里写到过说目前所有的计算机视觉相关的深度学习方法都有一个共同的问题——对数据集的依赖。在单目图像深度估计来看呢，就是基于室内数据集NYUDe

单目图像深度估计 - 相对深度篇：Depth in the Wild & Size to Depth目前单目图像深度估计需要面临的主要问题之一就是我们用来获得ground truth depth的硬件设备本身具有一定误差和环境限制，比如说基于红外的相机(Kinect)无法在室外使用，而所有设备都只在一定距离范围内具有精确度，超出这个范围的获取结果是不可信的，因此我们所获得的深度图本身就具有一定误差。在误差的基础上进行建模，使得后续模型拟合的难度加大了。因此就有科学家提出，其实人类对深度的实际数值

单目图像深度估计 - 6. 无监督篇：Left-Right Consistency & Ego Motion近几年有关单目图像深度识别的算法以CNN为主流，更细的说是以无监督的同时对深度、计算机角度、光流等同时计算的端到端深度网络为主流。所谓无监督其实是指在训练过程中不需要输入真实的深度值，这样做有一个好处就是目前能够测量到深度信息的传感器还不够精确，因此由不够精确的label训练出的model得到的预测结果必然不会特别令人满意；所谓同时计算呢，在我理解是指在训练过程中，用一个能够表征时间序列

单目图像深度估计 - 5. 深度篇：David Eigen的两篇研究终于写到了目前比较主流的深度学习方法。随着大规模的数据集的出现以及硬件运算能力的提高，数据驱动的方法开始在计算机视觉、自然语言理解等领域发光发热。David Eigen可以说是第一个把深度学习方法用于单目图像深度估计的人，他提出的多尺度CNN网络到现在仍然在被引用和对比。这篇笔记就写一下Eigen的两篇经典论文：[1] Depth Map Prediction from a Single Image using a Multi-Scal

单目图像深度估计 - 4. 迁移篇：Depth Extraction from Video Using Non-parametric Sampling第四篇写一下Depth Extraction from Video Using Non-parametric Sampling这篇文章中的Depth Transfer方法。不同于其他主流方法，Depth Transfer并没有训练出特定的识别模型，而是通过把有标签数据与待预测样本进行点到点的对应，然后将深度信息进行迁移，形成深度估计结果。虽然诸如处理时间

单目图像深度估计 - 3. 尺度篇：Make3D终于进行到第三篇，这次膜拜一下单目图像深度识别的经典方法：Make3D(Website)。 Make3D方法经典的原因有二，其一是相关论文Learning Depth from Single Monocular Images发表于2005年，是我找到的最早的一篇单目图像深度识别的论文；其二是近期的许多研究在论文中都将自己的方法与Make3D进行了对比。这篇博客主要整理一下2005年发表于NIPS的这篇文章内容和我的相关理解。上一篇文章中提到过，想要对深度

单目图像深度估计 - 2. 应用篇：Learning to be a Depth CameraFig. 1 Learning to be a Depth Camera第二篇借助Learning to be a Depth Camera for Close-Range Human Capture and Interaction（Website）这篇论文谈一下相关应用。上篇文章中提到过，有了深度信息后，图片就从二维变成了三维，机器对图像的理解成几何倍数的增长，自然利用这更多的信息可以做到更多的事情。当

由于公司网站设置，基于git的Blog越来越难打开，所以把部分内容搬运到这里。一转眼都是两年前的内容了，且大部分都是我的个人理解，现在看来也难免有些Bug。虽然后来由于项目安排的关系没有继续单目图像深度估计的相关研究，但对于这个话题我一直很感兴趣，希望以后能够有机会继续跟进相关方向吧。— M— 2021.4.29单目图像深度估计 - 1.入门篇最近一直在看单目深度图像估计相关的Paper，小白入门困难多多，于是打算把看过的几篇论文和相关理论总结一下。顺序如下：入门篇：图像深度估计相关总结应