Importance-weighted conditional adversarial network for unsupervised domain adaptation笔记

Importance-weighted conditional adversarial network for unsupervised domain adaptation

概述

这篇文章属于深度领域适配，深度领域适配主要包括两种方法：
1.基于差异思想：特征提取器，分类器，MMD/CORAL…
2.基于对抗思想：特征提取器，分类器，域判别器
然而对抗域适配方法（早期的方法）存在着缺陷：
1.只关注于对齐边缘概率分布，而忽略了类级的条件概率分布匹配
2.使用伪标签存在这一定的风险
3.平等地对待每个源域样本是有问题的
4.降低分布差异与调整目标模型同等重要
这篇文章提出了IWCA方法，逐步提高目标域对分布匹配的贡献。我们可以把它分解成三部分：A(对抗)，C（条件），IW（加权）。其中对抗是由15年的DANN提出来的，条件由18年的CDAN提出来，接下来会分别说明。所以这篇论文的主要贡献在于IW这部分，分成了两个加权准则：
一、重要性加权准则：
在此准则下又可分为两部分：
1.基于熵的确定性衡量标准（S&T）：将源域样本和目标域样本输入到模型中后，分类器会给出一个预测结果，我们希望的是分类器会针对于其中的一个类别给出较大的概率预测值，熵是衡量确定性的一个常用手段，熵越小，确定性越高，那么对应的样例权值越大。
2.基于域间相似度(S)：在源域和目标域分布匹配时，期望选择的是和目标域尽可能相似的源域样例
二、样例选择标准：
为了解决伪标签不准确的问题，选择带有可靠伪标签的目标样例参入到训练中
这个也分为两部分：
1.基于概率密度估计的：期望选择和源域尽可能相似的目标样例
2.基于经验风险：跟熵类似

**

方法：

**
这篇论文关注UDA