每天一篇论文 326/365 SDNet: Semantically Guided Depth Estimation Network

每天一篇论文汇总list

SDNet: Semantically Guided Depth Estimation Network

摘要

自主车辆和机器人需要对环境有全面的了解才能与之互动。这种感知通常结合了像素级的深度知识和来自视频传感器的每个图像的语义标签。最近基于学习的方法使用两个独立的cnn独立地估计这两种类型的信息。本文提出了一个能同时预测两个输出的模型，与深度和语义的独立估计相比，该模型能提高结果，甚至降低计算成本。我们还通过实验证明CNN能够学习更有意义和语义更丰富的特征。此外，我们的SDNet基于序数分类估计深度。在这两种增强的基础上，我们提出的方法在两个具有挑战性的数据集上实现了单目输入图像的语义分割和深度估计。

方法

该模型基于顺序深度类对深度进行分类，同时为每个像素推断语义标签。这种方法的优点是在编码器的最后一层学习到更多有意义的特征，从而有利于语义分割和深度估计。这使得CNN能够更准确地描述、检测和分类物体。

与DeepLabv3+不同，我们的解码器由两个子网组成。
首先，解码器对来自ASPP模块的语义有意义的特征映射进行插值，然后将其与来自第二ResBlock的特征映射连接起来。这些特征地图提供了额外的结构信息，能够识别图像中的精细结构。生成的特征映射用作我们两个子网的输入。在第一个子网中，估计语义标签。第二个子网决定深度。两个子网的两个输出层都计算类概率，这是由语义的softmax函数和深度的sigmoid层完成的。

深度在depth[min,max]

对于有序回归，连续深度必须离散化，使得特定的C类可以被分配到每个深度D。通常，深度D [dmin；dmax ]被线性地划分为最小深度和最大深度之间的类。然而，这种划分的缺点是，与错误估计的大深度相比，在浅深度对深度类的错误估计导致更大的相对估计误差。

在本文，使用指数函数将反深度分解为离散类ci

Loss 设置

结果

深度估计结果

语义分割个深度估计结合结果