Gradually Vanishing Bridge for Adversarial Domain Adaptation（CVPR2020）笔记

Gradually Vanishing Bridge for Adversarial Domain Adaptation（CVPR2020）笔记

举两个现有方法存在弊端的例子：

Domain separation network / NeurIPS 2016 

弊端：由于图像重构要求较多的域信息，重构图像很可能导致学习到的域不变特征中仍含有很多剩余的特定于域的信息，这样的信息对迁移会产生负影响。

Multi-adversarial domain adaptation / AAAI 2018

弊端：过多的判别器可能会打破对抗训练脆弱的平衡。

 

桥：现有表示和理想表示之间的差异（两个向量间差值的范数）

现有特征表示：当前网络所提取到的特征

理想表示：进行了特征分布匹配 后的特征表示

关键点：桥会逐渐减小（渐进消失桥），GVB是一个可应用于对抗域适配方法的通用组件

1.     GVB on Generator---GVB-G
2.     GVB on Discriminator---GVB-D
3.     GVB on both Generator and Discriminator---GVB-GD

 

生成器上的桥：源域或中间域与目标域的差异

判别器中：-------表示原判别器域的分界线，但有错分的情况

                  ·······表示判别器 的桥（不是域的界限，而是与理想分界线的差异）

 介于这两条线中间的线会恰好把源域和目标域分开

网络对源域和目标域的处理是完全相同的（上下对称）。把特征提取器的结果分别输入到G2和G3中，G2输出的和G3输出的是两个维度相同的向量。

是进行了分布匹配的理想表示，是当前提取到的特征表示，是中所蕴含的源域特有的特征。

把输入到D1和D2中得到判别器的输出结果和判别器桥上的输出结果。桥是提供了额外的判别能力，对判别器的结果进行修正，这一步是进行相加得到修正后的结果。

 

GVB on G:

如果Gamma比较大的话，说明：

1：x是一个难样本，该数据包含的较多的域特定特征

2：共享特征和该样本的特定特征较难分开