单目深度估计技术进展综述（黄军）概要

• 引言

  • 多幅图像深度估计方法

    • 立体几何（MVS）

      • 利用三角测量法对左右视图进行匹配计算深 度，其原理类似人眼的双目立体成像过程

    • 运动恢复结构（SFM）

      • 利用单摄像机捕获的时间序列图像获取深度

    • 阴影恢复形状（SFS）

      • 一般利用灰度图像中变化的阴影恢复物体表面形状

  • 单幅 RGB 图像中估计深度（单目深度估计方法）

    • 图像中的离焦信息恢复 深度 ( DFD)

      • 图像中焦点所在位置景物最为清晰，离 焦点越远模糊程度越深

• 国内外研究现状

  • 问题建模

    • 数据集

      • 室内数据集

        • NYU depth v2

      • 室外数据集

        • Make3D 数据集

        • Depth in the Wild 数据集

      • 自动驾驶领域数据集

        • KITTI 数据集

      • 虚拟场景数据集

        • SceneNet ＲGB-D 数据集

        • SYNTHIA 数据集

  • 基于机器学习

    • 参数学习方法

      • 2005 年斯坦福大学的 Saxena等人(2005) 利用 MRF学习输入图像特征与输出深度之间的映射关系。构建了高斯和拉普拉斯两种MRF模

      • Saxena 等人改进后的方法(2007) 在最大化后验 概率框架下以超像素为单元，利用MRF拟合特征与深度、不同尺度的深度之间的关系，进而实现对深度的估计。

      • Liu 等人(2010) 以语义标签为辅助，使用不同的语义标签，分别以像素和超像素为节点构造双层 MRF模型优化深度图。

      • Wang 等人(2014)使用非线性空间中的核函数描述RGB图像和其深度图之间的关系，利用图像块学习参数进行深度估计。

    • 非参数学习方法

      • Karsch (2012) 提出了 Depth Transfer 方法

        • 该方法利用 GIST 特征检索与输入图像最相似的图像集，然后基于 SIFT( scale-invariant feature transform) 流得到变形后的深度结果，最后对深度图进行优化。

      • 莫一鸣（2014）提出前景背景融合方法

        • 前景深度主要反映场景显著性区域内的深度，背景深度反映场景整体的深度分布趋势，综合两种估计结果获得最终的深度图。

      • Liu 等人(2014)提出了以超像素为节点的离散—连续CRF模型

        • 该方法用高斯过程回归器替换了基于 SIFT 流的变形过程，提高了算法的效率并且通过结合离散变量和连续变量提高了深度估计的精度。

      • Konrad等人(2012) 改进了上述方法

        • 先将检索到的相似图像进行中值滤波产生初始深度图，然后用双边交叉滤波对初始深度图进行平滑。最后使用获得的深度图得到立体图像对中的右眼图像，完成2D到3D的转换，以此避免了复杂的SIFT流计算。

  • 基于深度学习

    • 单任务

      • 绝对深度

        • 有监督回归模型

          • Eigen 等人(2014) 提出使用两个尺度的神经网络对单张图片的深度进行估计

            • 粗尺度网络预测图片的全局深度，细尺度网络优化局部细节

          • Eigen 等人(2015) 基于上述工作改进后提出了 一个统一的多尺度网络框架

            • 同一框架独立应用于不同任务，分别将其用于深度预 测，表面法向量估计和语义分割 3 个任务

          • Liu 等人(2015) 将深度卷积神经网络与连续条 件随机场结合，提出深度卷积神经场，用以从单幅图像中估计深度。

          • liu(2016)将超像素信息编码进神经网络中以提高计算效 率

          • Li 等人 (2015) 提出多尺度深度估计方法

            • 首 先用深度神经网络对超像素尺度的深度进行回归， 然后用多层条件随机场后处理，结合超像素尺度与 像素尺度的深度进行优化

          • Laina 等人( 2016) 提出了一种基于残差学习的 全卷积网络架构用于单目深度估计，网络结构更深， 并且不需要后处理

        • 有监督分类模型

          • Cao 等人(2018) 将深度估计问题当做像素级的 分类问题处理Cao 等人(2018) 将深度估计问题当做像素级的分类问题处理

        • 无监督模型

          • Garg 等人(2016) 提出利用立体图像对实现无 监督单目深度估计，不需要深度标签

          • Godard 等人(2017) 利用左右视图的一致性实现无监督的深度预测

            • 利用对极几何约束生成视差图，再利用左右视 差一致性优化性能，提升鲁棒性。

          • Kuznietsov等人提出半监督学习，进一步提高性能

      • 相对深度

        • Zoran 等人(2015) 提出利用图像中点对之间的相对关系推断深度信息。

        • Chen 等 人 (2016 ) 提出了一个利用相对深度关系估计数值深度的算法

        • Li 等人(2018) 提出使用互联网上的图像，通过从运动中恢复结构(SFM) 和多视点立体(MVS) 方法生成训练数据，构造了一个深度数据集 MegaDepth。提出了新的数据清理方法，并使用语义分割生成的相对深度关系来自动增强数据。

    • 多任务

      • 由深度信息和语义信息之间的互补性，Wang 等 人(2015) 提出了一个统一的框架联合深度估计和语义分割任务

      • Mousavian 等人(2016) 提出一个同时预测深度 和语义标签的模型

        • 对每个任务先训练网络的一部分，再使用单个损失函数对两个任务同时优化微调整个网络，最后结合CNN与CRF，利用语义和深度线索对细节进行优化。

• 结论

  • 精度评估指标

    • 相对误差(REL)

    • 均方根误差(RMS)

    • 对数误差(LG)

    • 阈值误差(%correct)

  • 定量的性能评估上

    • 深度学习算法普遍优于机器学习方法，由于神经网络强大的特征提取能力，深度学习模型往往具有更好的鲁棒性和泛化性

  • 发展方向

    • 基于深度学习的单目深度估计，其中主要关注点在数据集和深度学习模型两方面。

      • 数据集的质量在很大程度上决定了模型 的鲁棒性与泛化能力，深度学习要求训练数据必须 有更多的数量、更多的场景类型，如何构建满足深度 学习的数据集成为一个重要的研究方向

      • 为了提高深度学习估计单幅图像深度的精度，要求更新的更复杂的深度框架。除了神经网络模型本身结构的优化，更新颖的算法设计也能有效地提升预测精度

    • 深度学习 发展迅速，新的模型层出不穷，如何将这些模型应用 于单幅图像深度估计问题中需要更加深入地研究

    • 探索神经网络在单目深度估计问题中学到的是何种特征也是一个重要的研究方向