最优传输论文(五)Multi-Adversarial Domain Adaptation

前言

这篇文章是根据经典DANN衍生出来的，DANN是只有一个域鉴别器，而MADA对应每个类都有一个域鉴别器，基本原理都一样，建议先看看DANN，学会梯度翻转层，看明白代码再来看这篇文章。
需要注意的一点操作是给生成特征Gf (x)进行加权得到yk i *Gf(xi),不仅能将无关的类通过概率过滤掉，而且能训练出不同的每个G k d对应的θ k d，将每个点xi与最相关的类进行对齐，避免了负迁移。

Introduction

现有的基于单一域鉴别器的域对抗自适应方法(如DANN)只对源域和目标域数据分布进行对齐，而没有利用复杂的多模结构来对齐对应的类。这样一来，不仅源域和目标域的所有数据都会被混淆，而且判别组件也会被混淆，导致不同分布的对应判别组件的错误对齐（如图1）。

图1.领域适应的难点:跨领域的鉴别组件可能被混淆或错误排列。作为一个直观的例子，在该图中，源类cat与目标类dog错误地对齐，导致最终分类错误。

在本文中，我们提出了一种多对抗域适应(MADA)方法，该方法构建多模式结构，以实现基于多个域鉴别器的不同数据分布的细粒度对齐（即类别上的对齐）。
实现域适应存在两个技术挑战:(1)通过最大限度地匹配跨域数据分布的多模态结构来增强正迁移，(2)通过防止跨域不同分布中的类间错误对齐来减轻负迁移。与以前的方法相比，一个关键的改进是能够同时促进相关数据的正迁移和减轻无关数据的负迁移。自适应可以通过随机梯度下降和线性时间内反向传播计算的梯度来实现（基本原理与DANN一样）。

Multi-Adversarial Domain Adaptation

源域和目标域分别从联合分布P (Xs, Ys)和Q(Xt, Yt)中采样，本文的目标是设计一个深度神经网络，能够学习迁移特征f = Gf (x)和自适应分类器y = Gy(f)，以减少联合分布跨域的变化。使目标风险

最小，通过多对抗域适应共同最小化源风险和分布差异。

Domain Adversarial Network

为了提取域不变特征 f，特征提取器Gf的参数θf是通过使域鉴别器Gd的损失最大化来学习的，而域鉴别器Gd的参数θd是通过使域鉴别器的损失最小化来学习的。此外，标记预测因子Gy的损失也被最小化从而实现正确分类。领域对抗网络的目标是:

训练收敛后，参数θf， θy， θd将提供函数(1)的鞍点:

Multi-Adversarial Domain Adaptation

当分布的不同模态（类）不能最大匹配时，就会发生欠迁移。当域间分布的相应类错误对齐时，可能会发生负迁移。
将式(1)中的域鉴别器Gd分割为K个按类别划分的域鉴别器G k d, k = 1，……K，每个都负责匹配与类 k 关联的源域和目标域数据，如图2所示。

图2：提出的多对抗域适应(MADA)方法的体系结构，其中 f 是提取的深层特征，y是预测的数据标签，d是预测的域标签;Gf 为特征提取器，Gy和Ly为标记预测器及其损失，G k d和L k d为类k的域鉴别器及其损失;GRL代表梯度反转层。蓝色部分显示了本文构建的多个对抗网络(每个对应一个类，共K个)。

由于目标域数据是完全未标记的，因此不容易确定哪个域鉴别器G k d应当负责哪个目标数据点。标签预测器 yi = Gy(xi)对每个数据点xi的输出是K类标签空间上的概率分布。这个分布很好地描述了将 xi 分配给K个类别中的每一个的概率。
**每个点xi被域鉴别器G k d的关注程度可以通过对其特征 Gf (xi) 进行概率为y k i 的加权来建模。**将此应用于所有K域鉴别器G k d,（k = 1，…K）便得到：

di是点xi的域标签，Lkd是第k个域鉴别器G k d的交叉熵损失.
本文提出的多对抗域适应网络实现了细粒度的自适应,带来三个好处：
(1)避免了每个点只能分配给一个域鉴别器，MADA模型有每个类都对应一个域鉴别器，对目标域数据往往不准确。
(2)避免了负迁移，每个点只与最相关的类对齐，而不相关的类通过概率过滤掉，不会被包含在相应的域鉴别器中，从而避免了不同分布的判别组件错误对齐。
(3)用概率加权数据点y k i Gf (xi)训练多个域鉴别器，自然学习具有不同参数θk d的多个域鉴别器;这些具有不同参数的域鉴别器促进了每个实例的正迁移。
多对抗域适应(MADA)的目标是：

λ是一个在统一优化问题中权衡两个目标的超参数。优化问题是找到参数 θf， θy和θ k d(k = 1,2，…， K)共同满足：

对于参数λ，通过公式：

来逐渐改变，其中δ = 10，p=0.75