迁移学习“Importance Weighted Adversarial Nets for Partial Domain Adaptation”

Importance Weighted Adversarial Nets for Partial Domain Adaptation

提出重要性加权对抗网络用于非监督的域适应，主要针对目标域相比源域具有的类别数较少的部分迁移学习。该网络目的是从源域中找到极有可能是outlier类别的样本。

这是与SAN类似的一篇文章，做部分域适应工作。目标域中无标记样本，且类别数目未知，通常假设源域足够大，包含目标域中所有的类别。由于标记空间不同，源域和目标域的边际分布也不同。对于这种情况，一种方法是对源域中有可能出现在目标域中的样本进行重加权，但目标域中的样本是未标记的，无法直接获取哪些类在目标域中存在。论文提出了加权对抗网络用于深度域适应，具有两个域分类器，第一个分类器给出源域样本的概率，如果第一个域分类器的激活大，样本，该样本可以与目标域样本完美区分，那么该样本就很可能来自于源域的outlier，给该样本的权值就小。加权的源域样本和目标域样本输入第二个域分类器，用于优化特征提取器。

相关研究

降低域之间的差异可以挖掘域不变的特征，主要有三个方法，第一种是统计矩匹配法，包括最大化均值差异（MMD）、中心矩差异（CMD）、二阶统计匹配等；第二种是对抗损失，通过对抗学习让不同域的样本不可分辨；第三种方法使用Batch Norm，将源域和目标域的分布对齐。

SAN对于每个类别都训练一个域判别器，当源域类别数目很多时，计算量会比较大。

方法描述

一般的，在分类网络中加入域分类器目的是学习域不变的特征，对抗网络域适应的minimax损失为：

论文中所指源域的标签为1，目标域的标签为0。

其中D是域分类器，Fs和Ft分别是源域、目标域数据的特征。

最优的判别器D为：

基于重要性加权的域适应对抗网络

在minimax公式中，域分辨器是一个sigmoid函数：

域判别器的输出值反应了给出了源域中样本分布的似然估计，如果，则该样本很可能就来自源域中的outlier，这是由于目标域中没有这个样本对应的类别，域分辨器可以对该样本进行轻松的分类，这些样本的贡献应该降低。如果D^* (z)很小，则该样本很可能在源域、目标域中同时出现，这些样本应给予大权重。因此，权重应与D^* (z)成相反关系，可以如下定义：

权重函数同时反映了源域和目标域特征的密度比，如果样本的邻域覆盖了很少的目标域样本，则权值比较小。权重如下归一化：

此时，.

由于权重是域判别器的函数，如果对相同的域判别器应用权重，minimax问题的优化将不能降低Jensen-Shannon差异，因此引入了第二个域分辨器D0用于比较加权的源域数据和目标域数据。这种方式下，第一个域分辨器仅用来根据Fs和当前的F_t获取源域权重。这样D的梯度将不会更新的F_t，D_0用来解决minimax问题，降低贡献类别的偏差。

 

加权域对抗网络的目标函数为：

wz是D的函数，独立于D_0，可以认为是常数，最优的D_0为：

使用目标熵最小化准则鼓励类别间的低密度分离，仅用来约束F_t：

最终目标函数为：

整体结构示意图如下：

实验结果