#每天一篇论文#（219/365）DADA: Depth-Aware Domain Adaptation in Semantic Segmentation

DADA：语义分割中的深度感知域自适应

摘要

无监督域适配（uda）对于代表性数据的大规模标注具有挑战性的应用非常重要。特别是对于语义分割，它有助于在真实的“目标域”数据上部署在不同“源域”（尤其是虚拟环境）的带注释图像上训练的模型。对于源域数据，同时忽略其他可能可用的信息，如深度。在这项工作中，我们的目标是在训练uda模型的同时最大限度地利用这种特权信息。我们提出了一个统一的深度感知uda框架，它以几种互补的方式利用源域中密集深度的知识。从而提高了训练后的语义分割模型在目标域上的性能。我们的新方法确实在不同的具有挑战性的合成-2-真实基准上实现了最先进的性能。

贡献

•深度感知uda学习策略：提出了一种新的深度感知自适应方案&coided-dada学习，在感知场景几何的同时，将源目标的基于分段和基于深度的信息进行对齐。
•深度感知的深层结构：提出了一种新的深度感知的分割流水线，称为dada结构，在通过分割分类器转发之前，融合特定深度和标准cnn外观特征。
•最先进的性能：评估表明，我们的框架在具有挑战性的合成-2-真实基准上实现了SOTA结果。我们也报告消融研究，以提供对拟议方法的见解。

方法

深度感知域自适应

DADA Network Architecture


我们提出了一种利用UDA源域深度信息的新方案。我们假设引入额外的深度特定适应会带来进一步的互补效应。 在测试时弥合源和目标之间的性能差距。为此，我们将分段主干网转换为将深度信息嵌入到专用的深度体系结构中。 Re通过辅助深度回归任务。在我们的框架中，深度作为额外的源 信息。另一个挑战是如何有效地将深度信号整合到UDA学习中。针对这一问题，我们引入了一种新的基于融合的深度感知对抗性训练协议。 f网络输出。这种后期融合的灵感来源于我们的直觉，即不同深度的视觉信息应该得到不同的处理。

实验