基于单目视觉深度估计的论文研究

From Big to Small: Multi-Scale Local Planar Guidance for Monocular Depth Estimation
作者:Jin Han Lee, Myung-Kyu Han, Dong Wook Ko and Il Hong Suh

摘要:

由于无限多的三维场景可以投影到同一个二维场景，因此从单个图像估计精确的深度是一个具有挑战性的问题。然而，近年来基于深卷积神经网络的研究显示，在取得可信结果方面取得了很大进展。网络通常由两部分组成：用于密集特征提取的编码器和用于预测所需深度的解码器。在编解码方案中，重复跨步卷积和空间池层降低了过渡输出的空间分辨率，并采用跳跃连接或多层反卷积网络等技术有效地恢复到原来的分辨率。为了更有效地指导密集编码特征的深度预测，本文提出了一种网络结构，该网络结构利用了解码阶段多个阶段的局部平面制导层。结果表明，该方法在具有挑战性的基准上具有显著的边际评价效果，优于现有的方法。我们还提供了消融研究的结果，以验证所提出的核心因素的有效性。

一 介绍:

二维图像的深度估计一直是计算机视觉研究的热点，目前已应用于机器人、自动驾驶汽车、场景理解和三维重建等领域。这些应用通常利用同一场景的多个实例来执行深度估计，例如立体图像对[39]、来自移动相机[34]的多个帧或在不同照明条件下的静态捕获[2，3]。由于多个观测点的深度估计取得了很大的进展，自然会导致单幅图像的深度估计，因为它最终需要的成本和约束较少。

但是，从单个图像估计精确的深度具有挑战性，甚至对人类来说也是如此，因为无限多的三维场景可以投影到同一个二维场景中，这是一个不适定问题。为了理解几何结构，从而从单个图像产生深度，人们不仅考虑使用局部线索，例如在各种照明和遮挡条件下的纹理外观、透视图或与已知对象的相对比例，还考虑全局上下文，例如场景的整个形状或布局[19]。

在第一次基于学习的单目深度估计工作之后，Saxena等人。[37]在引入后，随着深度学习的迅速发展，已经取得了相当大的进步[12、11、28、29、43、35、21、25]。虽然大多数最新的研究成果都是以有监督的方式应用基于深卷积神经网络（DCNNs）的模型，但也有一些研究提出了半监督或自监督的学习方法，这些方法不完全依赖于地面真值深度数据。

同时，基于DCNNs的最新应用通常由两部分组成：用于密集特征提取的编码器和用于期望预测的解码器。作为一个密集的特征抽取器，通常是采用非常强大的深层网络，诸如Vgg[41]、resnet[18]或densenet[20]等。在这些网络中，重复的跨步卷积和空间池层降低了过渡输出的空间分辨率，这可能是在高分辨率下获得期望预测的瓶颈。因此，一些技术，例如多尺度网络[29，11]、跳跃连接[17，45]或多层反褶积网络[25，15，24]被应用于从更高分辨率合并特征图。近年来，atrus空间金字塔池（aspp）[7]被引入到图像语义分割中，它可以通过应用具有不同膨胀率的稀疏卷积来捕获观测中的大规模变化。由于扩展卷积允许更大的感受野大小，最近在语义分割[7，47]或深度估计[13]中的工作没有通过移除最后几个池层来完全减小感受野大小，并且使用萎缩卷积重新配置网络以重用预训练权重。因此，它们的网络具有更大的密集特征（输入空间分辨率的1/8，而在原始基础网络中为1/32或1/64），并且对该分辨率执行几乎所有解码处理，然后进行简单的上采样以恢复到输入分辨率。

为了在恢复到全分辨率时提供更明确的关系，我们提出了一种网络架构，该架构利用了位于解码阶段多个阶段的新的局部平面制导层。更具体地说，基于编码-解码方案，在空间分辨率为1/8、1/4和1/2的每个解码阶段，我们放置一个层，通过使用局部平面假设引导每个特征，有效地将输入特征引导到所需深度。然后，我们结合输出以全分辨率预测深度。这在两个方面不同于多尺度网络[11，12]或图像金字塔[17]方法。首先，在降采样分辨率下，我们不将来自所提出