跨域语义分割CrDoCo

跨域语义分割

1.介绍

主要是讲一个域（源域）中学习到的知识应用到另外一个域（目标域）中。由于由于域移位问题（即源和目标数据集之间的域间隙），所学习的模型通常无法概括到新数据集。

本文贡献：1）提出了一种对无监督域适应的对抗学习方法，其适用于广泛的密集预测任务；2）提出了跨域一致性损失，为网络训练提供了额外的监控信号，从而进行更准确和一致的任务预测；3）性能目前最强。源代码：https://yunchunchen.github.io/CrDoCo/

2.模型结构

主要有两个模块：1）图像-图像翻译网络；2）两个特定域的任务网络（一个用于源和另一个目标）

该模型由两个主要模块组成：图像翻译网络（以灰色突出显示）和两个特定于域的任务网络（分别以蓝色和绿色突出显示）。图像翻译网络学习从一个域转换到另一个域的输入图像。然后将输入和翻译图像馈送到其相应的域特定任务网络以执行任务预测。我们的主要贡献在于使用跨域一致性损失Loss规范网络训练。

3.相关工作

1.无监督域适应

无监督域适应方法主要分为两组：1）特征适应；2）像素适应。

1. 特征适应：通过测量相关距离，最大限度地减少最大均值，或在特征中施加对抗学习策略的最大均值差异来对齐源域之间的特征空间分布。

2. 像素适应：利用Imageto-Image翻译网络（例如CycleGAN）将来自源域的图像转换为具有像素级自适应的目标域。然后将翻译的图像传递给任务网络，后进行特征级别对齐。

2.循环一致性

在图像到图像转换中，执行循环一致性允许网络在没有配对数据的情况下学习映射。

4.主要方法

1.图像转换

使用图像转换网络将源域和目标域图像分别进行转换，然后将其分别输入目标域和源域。

2.主要损失函数

用于训练整个网络的损失函数共有五个。

1. 第一个Limg(adv)：用于对齐转换域和相应域中的图像分布；
   

2. 重建损失Lrec：用于规范图像转换网络Gt-s和Gs-t在将图像从一个域转换为另一个域后跟反向转换时执行自重建；

3. 特征对抗损失Lfeat(adv)：对齐特征重建后的转换图像和同一域中的图像之间的分布。

4. 任务损失Ltask：指导两个特定于域的任务网络Fs和Ft执行密集的预测任务。

   语义分割：交叉熵损失；深度预测网络：L1损失

5. 跨域一致性损失Lconsis：对任务预测执行一致性约束。
   

3.跨域一致性损失Lconsis

对于深度预测网络，使用L1损失作为跨域一致性损失

5.训练细节

1. 用CycleGAN作为图像-图像转换网络；

2. 图像鉴别器结构Dimg(S)和Dimg(T)由四个残差块组成，每个都是卷积层后面加个ReLU激活层；

3. 特征级鉴别器使用与Tsai相同的结构（Learning to adapt structured output space for semantic seg-mentation）；

4. 以上三个网络都进行随机初始化；

5. batch_size=1；学习率0.001；momentum=0.9；weight decay=5*10e-4； λconsis= 10, λrec= 10, λimg= 0.1,λfeat= 0.001。