语义分割-CyCADA: Cycle-Consistent Adversarial Domain Adaptation.循环一致对抗领域自适应

论文地址
代码地址

0.摘要

领域适应对于在新的、看不见的环境中取得成功至关重要。应用于特征空间的对抗性适应模型可以发现域不变的表示，但很难可视化，有时无法捕获像素级和低级别的域偏移。最近的研究表明，生成性对抗网络与周期一致性约束相结合，即使不使用对齐的图像对，在域之间映射图像时也出人意料地有效。我们提出了一种新的区分训练周期一致性对抗域适应模型。CyCADA在像素级和功能级都适应表示，在利用任务丢失的同时加强循环一致性，并且不需要对齐对。我们的模型可以应用于各种视觉识别和预测设置。我们展示了多种适应任务的最新成果，包括数字分类和道路场景的语义分割，展示了从合成域到现实域的转换。

1.概述

深度神经网络擅长从大量数据中学习，但在将所学知识推广到新的数据集或环境方面可能很差。即使稍微偏离网络的训练领域，也可能导致网络做出虚假预测，并严重损害其性能（Tzeng等人，2017年）。视觉领域从非照片级真实感合成数据向真实图像的转变带来了更大的挑战。虽然我们希望根据大量合成数据（如从图形游戏引擎收集的数据）来训练模型，但此类模型无法推广到真实世界的图像。例如，在合成dashcam数据上训练的最先进的语义分割模型无法在真实图像中分割道路，其整体每像素标签精度从93%（如果在真实图像上训练）下降到54%（如果仅在合成数据上训练，见表6）。
特征级无监督域自适应方法通过在源域（例如合成域）和目标域（例如真实域）之间对齐从网络中提取的特征来解决这个问题，而不需要任何标记的目标样本。校准通常涉及最小化源和目标特征分布之间距离的一些度量，例如最大平均差异（Long&Wang，2015）、相关距离（Sun&Saenko，2016）或对抗性鉴别器精度（加宁和莱姆皮茨基，2015；曾等，2017）。这类技术有两个主要局限性。首先，对齐边缘分布并不强制任何语义一致性，例如，汽车的目标特征可能映射到自行车的源特征。第二，深层表征的更高层次上的对齐可能无法模拟对最终视觉任务至关重要的低层次外观差异。
生成像素级域自适应模型不在特征空间中执行类似的分布对齐，而是在原始像素空间中执行类似的分布对齐，将源数据转换为目标域的“样式”。最近的方法可以学习在两个领域仅提供无监督数据的情况下翻译图像（Bousmalis等人，2017b；Liu&Tuzel，2016b；Shrivastava等人，2017）。结果在视觉上令人信服，但此类图像空间模型仅适用于较小的图像大小和有限的域移动。最近的一种方法（Bousmalis等人，2017a）适用于更大（但仍然不是高分辨率）的图像，但适用于机器人应用的视觉控制图像。此外，它们也不一定保留内容：虽然翻译后的图像可能“看起来”像来自正确的域，但关键的语义信息可能会丢失。例如，一个从线条图改编为照片的模型可以学会让猫的线条图看起来像狗的照片。
我们如何鼓励模型在分布对齐过程中保留语义信息？在本文中，我们探索了一个简单而强大的想法：为模型提供一个额外的目标，从修改后的版本重建原始数据。循环一致性最近在跨域图像生成GAN模型CycleGAN（Zhu等人，2017）中提出，该模型显示了图像到图像的转换生成结果，但对任何特定任务都是不确定的
我们提出了循环一致对抗域适应算法(CyCADA)，该算法在像素级和特征级对表示进行适应，同时通过像素循环一致性和语义损失实现局部和全局结构一致性。CyCADA整合了之前的特征级别(Ganin & Lempitsky, 2015;Tzeng等人，2017)和图像级别(Liu & Tuzel, 2016b;Bousmalis等，2017b;Shrivastava等人，2017)对抗域自适应方法和循环一致的图像到图像翻译技术(Zhu等人，2017)，如表1所示。它适用于一系列深度架构和/或表示级别，与现有的无监督领域适应方法相比有几个优势。我们使用重构(循环一致性)损失来鼓励跨域转换以保留局部结构信息，使用语义损失来加强语义一致性。
我们将CyCADA模型应用于跨域数字识别和跨域城市场景语义分割。实验表明，我们的模型在数字适应、合成数据的跨季节适应和具有挑战性的合成到真实场景上都达到了最先进的结果。在后一种情况下，它将逐像素精度从54%提高到82%，接近于目标训练模型的差距。
我们的实验证实，领域自适应可以大大受益于循环一致的像素转换，这对于当代FCN架构的像素级语义分割尤其重要。此外，我们发现，像素级和表示级的自适应可以通过联合像素空间和特征自适应提供互补的改进，从而实现数字分类任务的最高执行模型。

2.相关工作

Saenko等人(2010)在引入两两度量变换解决方案的同时引入了视觉域自适应问题，并通过对视觉数据集偏差的广泛研究进一步推广了这一问题(Torralba & Efros, 2011)。早期的深度自适应研究通过最小化源和目标一阶或二阶特征空间统计量之间的距离来实现特征空间对齐(Tzeng et al.， 2014;龙、王，2015)。通过使用领域对抗目标进一步改进了这些潜在分布对齐方法，在学习领域表示的同时训练领域分类器区分源和目标表示，从而最大限度地提高领域分类器的误差。使用标准极大极小目标(Ganin & Lempitsky, 2015)、对称混淆目标(Tzeng et al.， 2015)或倒置标签目标(Tzeng et al.， 2017)对表示进行了优化。这些目标都与生成式对抗网络相关的文献(Goodfellow等人，2014)，以及改进这些网络培训程序的后续工作(Salimans等人，2016b;Arjovsky等人，2017)。
上面描述的特征空间自适应方法侧重于对区别表示空间的修改。相比之下，最近的其他方法则使用各种生成方法来寻求像素空间的适应性。正如我们所展示的，像素空间适应的一个优点是，结果可能更容易被人理解，因为来自一个领域的图像现在可以在一个新的领域中可视化。CoGANs (Liu & Tuzel, 2016b)通过特