Adversarial Domain Adaptation with Domain Mixup读书笔记

这篇文章是AAAI2020的oral,将深度学习里的一个技巧mixup用到了域适应这一特定领域，并且取得了不错的效果。最近关于领域适应的研究显示了对抗性学习在填补源域和目标域之间差异方面的有效性。然而仅仅从两个域里抽取足够多的样本并不能保证潜在的域不变性。这些方法所涉及的领域鉴别器只能在硬标签的指导下判断真假，而使用软评分来评价生成的图像或特征则更为合理，在这篇论文中，作者提出了带有域混淆的对抗性域适应，在更连续的潜在空间中保证域不变性，指导域鉴别器判断样本相对于源域和目标域的差异。在像素级和特征级联合进行域混合，提高了模型的鲁棒性。大量的实验证明，该方法可以在不同程度的域转移和数据复杂度的任务中获得较好的性能。
通过源域与目标域图像的线性插值实现像素级的mixup，该领域鉴别器在混合图像和软标签的指导下，学习如何对生成的图像输出软评分，此外，通过比较混合样本相对于两个域的差异，可以获得一个灵活的裕度。

本文的主要工作是在VAEGAN这一框架的基础之上，在特征级和像素级的基础上对源域与目标域做mixup，从而进一步在浅层和深度空间上来消除域差异，该操作使得域不变的潜在分布更加连续，当测试阶段数据分布出现振荡时，有利于目标域的性能泛化。其贡献可以归纳为以下三点：

1. 本文设计了一个对抗训练框架，将两个域映射到一个共同的潜在分布，并有效地将我们在监督域学到的知识转移到非监督域。
2. 为了提高模型的泛化能力，提出了基于像素级和特征级的域混合和精心设计的软域标签。该方法提高了特征提取器的泛化能力，得到了一个区域判别器，可以对两个域的样本差异进行精细的判别。
3. 我们广泛评估我们的方法在不同的数据集设置下的结果，该方法取得了优异的结果。

模型介绍

情境设置

在无监督域适应中，源域样例为 ，目标域样例为 ，假设源样本xs服从源分布Ps，目标样本xt服从目标分布Pt。此外，源域与目标域均共享相同的标签空间Y={1,2,3…K}，K是类数目。

模型描述

图二是模型的pipeline,在输入端，混合图像 是由源域图像与目标域图像混合而成，编码器 将输入的源域与目标域图像分别映射到 和 ，在潜在空间里，源域与目标域的特征分布也经过mixup操作，以产生 。此后，这个分支分成了两部分，第一部分是一个K分类的分类器，第二部分，潜在空间经过解码器 ，并将 与D进行极大极小博弈实现类级别域不变特征的提取。

DM-ADA的具体框架

对于输入层来说，有三种输入图像:源域图像、目标域图像和混合图像。编码器 将输入的源域与目标域图像映射到标准高斯分布(0,I)，均值与方差是特征层面的嵌入，源域与目标域的特征嵌入经过线性混合产生了混合特征。对于第一个分支，分类器对源域数据进行分类，对于第二个分支，源域和目标域通过使解码后的图像与源相似并保留输入的类信息而在类别级别上对齐。

1. 在两个层次上进行mixup操作

为了研究两个域数据的内部结构，对源域图像和目标域图像进行了线性插值
将混合后图像和相应的软域标签的混合制作流程如下:

这里,取值在(0,1)之间，并符合beta分布。
之后，通过编码器将源域与目标域的图像映射到潜在空间，为了得到更连续的域不变的潜在分布，两个域的嵌入被线性混合，产生混合特征嵌入

这里 使用和像素级别一样的 。

2. 具有先验知识的编码器

编码器Ne是由一个标准的高斯先验潜分布正则化。目的是缩小后验和先验之间的KL散度:

3. 具有先验知识的编码器

对分类器C进行优化，在源域中定义交叉熵损失，目标如下:

4. 对潜在空间编码

在生成阶段之前，我们首先定义one-hot的对象类标签lcls和一个一维不确定性域标签lcomp如下:
对于从目标域或混合过程派生的所有特性，因为类标签仍然不确定。设置lcomp作为补偿，将向量lcls和lcomp的和归一化为1。然后解码器Nd预测辅助生成的图像xg如下:
其中z是标准随机采样的噪声向量高斯分布。

5. 对抗域联合对齐

我们不仅在源域和目标域上约束域不变性，而且在两个域之间的中间表示上也约束域不变性。不同领域的最小-最大优化目标定义如下:

在训练过程中，混合特征可以很好地在像素级上映射到介于源域和目标域之间的某个位置，在两者之间分配分数更为合适0和1。利用域分类损失Lm软件指导域鉴别器输出这样的软评分:

进一步地，引入三重损耗Lm tri来约束混合样本到源域和目标域的距离，使得域鉴别器更容易收敛:

6. 种类级别的域联合适配

为了保证两个域的相同类别特征在潜在空间附近映射，引入了分类损失Ls cls和Lt cls来保证解码后的图像与输入之间的类一致性:

其中Dcls是D的对象分类分支，即常见的交叉熵损失函数， 是分类器C估计的伪标签。为了消除误标样本对域适应的影响，我们对分类置信度低于一定阈值的样本进行了过滤。由于域不变特性在训练过程中在不断更新，所以阈值也是不断更新的。

具体训练步骤：

1. 在每次迭代中，首先在像素级混合输入源和目标样本，指示域鉴别器输出软标签。
2. 将两个域的样本映射到潜在空间后，将它们的嵌入混合起来产生混合特征。
3. 在这些特征嵌入的基础上生成的图像被约束为类源的，并保留了输入的类信息，从而使潜在分布具有域不变性和区分性。

实验部分

实验在手写字符数据集，Office数据集和VisDA数据集上做了实验，达到了不错的实验结果。