DA-4-FixBi: Bridging Domain Spaces for Unsupervised Domain Adaptation

原文作者：Jaemin Na, Heechul Jung, Hyung Jin Chang, Wonjun Hwang
原文链接

引入了一种基于固定比率的混合来形成源域和目标域之间的多个增强中间域。从增强域出发，训练具有互补特性的源主导模型和目标主导模型。使用作者基于自信的学习方法，例如，使用高自信预测的双向匹配和使用低自信预测的自我惩罚，这些模型可以相互学习，也可以从其自身的结果中学习。通过作者提出的方法，模型逐渐将领域知识从源领域转移到目标领域。

在三个数据集上做实验：Office-31, Office-Home, and VisDA-2017.

上图:以前的方法试图直接适应，而不考虑大的域差异。
底部:\提出的方法利用源域和目标域之间的增广域进行有效的域适配。

Method

框架图如下

Fixed Ratio-based Mixup

使用两个固定的混合比例系数${\lambda }_{sd},{\lambda }_{td}$ 来进行数据混合。给定一对输入样本和它们在源和目标域中对应的一个硬标签：$(x_i^s,y_i^s),(x_i^t,{\hat{y}}_i^t)$，有如下设置：

$$\begin{array}{l}{\tilde{x}}_i^{st}=\lambda x_i^s+(1-\lambda )x_i^t\\ {\tilde{y}}_i^{st}=\lambda y_i^s+(1-\lambda ){\hat{y}}_i^t\end{array}\text{\hspace{1em}(1)}$$

其中， λ ∈ { λ s d , λ t d } ,   λ s d + λ t d = 1 \lambda \in\{\lambda_{sd} , \lambda_{td}\},\ \lambda_{sd} + \lambda_{td}=1 λ∈{λsd​,λtd​}, λsd​+λtd​=1, ${\hat{y}}_i^t$是由baseline model得到的伪标签，如DANN,MSTN。

利用基于固定比率的混合，作者构建了两个网络模型，作为源域和目标域之间的桥梁。这里的关键是通过混搭策略获得两个视角不同的网络。因此，作者利用了由源域主导的和目标域主导的两种不同模型，这两种模型分别由混合系数${\lambda }_{sd},{\lambda }_{td}$得到。源主导模型对源域的监督较强，对目标域的监督相对较弱。相比之下，目标主导模式的目标监督强，源监督弱。由于这两种类型的混合并不局限于单个域，它们可以作为两个不同域之间的桥梁。

$p(y|{\tilde{x}}_i^{st})$表示模型对于输入${\tilde{x}}_i^{st}$ 产生的预测类别分布，则fixed ratio-based mixup目标函数为：
$${\mathcal{L}}_{fm}=\frac{1}{B}\sum _{i=1}^B{\hat{y}}_i^{st}\log \left(p\left(y\mid {\tilde{x}}_i^{st}\right)\right)\text{\hspace{1em}(2)}$$

其中，${\hat{y}}_i^{st}=\mathrm{argmax}p(y|{\tilde{x}}_i^{st})$, $B$为 mini-batch size

Confidence-based Learning

通过固定比例混合，两种网络具有不同的特点，可以在互补学习中发展。为了利用这两个模型作为从源域到目标域的桥梁，作者提出了一种基于confidence的学习方法，其中一个模型使用正伪标签来教导另一个模型，或者使用负伪标签来教导自己。

正伪标签的双向匹配（Bidirectional Matching with positive pseudo-labels）

当一个网络分配给输入一个类别的概率超过一个阈值时，则认为此类别为此输入的伪标签，在此，作者将这些标签作为正向伪标签。于是，然后，训练对等网络，通过标准交叉熵损失使网络预测匹配这些正伪标签。$p,q$分别表示两个模型的概率分布，则双向匹配的目标函数为：

$${\mathcal{L}}_{\text{bim }}=\frac{1}{B}\sum _{i=1}^{B}1(\max \left(p\left(y\mid x_i^t\right))>\tau \right){\hat{y}}_i^t\log \left(q\left(y\mid x_i^t\right)\right)\text{\hspace{1em}(3)}$$

其中，${\hat{y}}_i^t=\mathrm{argmax}p(y|{\tilde{x}}_i^t)$

带有负伪标签的自我惩罚（Self-penalization with negative pseudo-labels）

负伪标签是指网络预测的置信度小于阈值的最可信标签(top-1标签)。由于负伪标签不太可能是正确的标签，我们需要增加除这个负伪标签之外的所有其他类的概率值。因此，作者将负伪标签对应的输出概率优化为接近零。自我惩罚的目的函数定义如下:
$${\mathcal{L}}_{sp}=\frac{1}{B}\sum _{i=1}^{B}1(\max \left(p\left(y\mid x_i^t\right))<\tau \right){\hat{y}}_i^t\log \left(1-p\left(y\mid x_i^t\right)\right)\text{\hspace{1em}(4)}$$.

此外，作者还利用softmax的可学习温度来调整输出分布。

对于阈值$\mathcal{T}$,固定的阈值不能很好地反映训练过程中不断变化的置信度，因此正伪标签和负伪标签的数量可能会偏向一边。因此论文中阈值是根据小批量样品的均值和标准差自适应变化的。

一致性正则化（Consistency Regularization）

通过正标签匹配策略，两个拥有相似特性的模型会越来越接近。作者用一个一致性正则项来确定收敛稳定性。对于中间域，混合系数${\lambda }_{sd},{\lambda }_{td}$都被设置为 0.5 。一致性正则化损失定义为：

$${\mathcal{L}}_{cr}=\frac{1}{B}\sum _{i=1}^B{\Vert p\left(y\mid {\tilde{x}}_i^{st}\right)-q\left(y\mid {\tilde{x}}_i^{st}\right)\Vert }_2^2\text{\hspace{1em}(5)}$$