Domain Adaption3

3.Discriminative Feature Alignment: Improving Transferability of Unsupervised Domain Adaptation by Gaussian-guided Latent Alignment

github: Discriminative-Feature-Alignment

  先前的工作已尝试通过 classifier-induced discrepancies直接对齐潜在特征。 但是，通常无法通过这种直接特征对齐的方式来学习公共特征空间，特别是当存在较大的域gap时。 为了解决这个问题，我们引入了一种Gaussian-guided latent alignment方法（即DFA，Discriminative Feature Alignment），以在高斯先验分布的指导下对齐两个域的潜在特征分布。 以这种间接的方式，来自两个域的样本上的分布将被构建在公共的特征空间（即高斯先验的latent空间）上，这促进了更好的特征对齐。 为了有效地使目标域的latent分布与prior distribution对齐，我们还利用编码器-解码器的架构，并提出了一种unpaired L1-distance。

1. DFA方法概览
     现有的UDA算法仅考虑 classifier-induced discrepancies来缓解domain shifts。对抗性和非对抗性的UDA方法的主要思想是——同时最小化源域分类误差和classifier-induced源域与目标域之间的差异，隐式地将完成两个域潜在特征空间的对齐。然而仅以这种方式进行的领域自适应无法有效地学习公共特征空间。
      因此，我们提出了discriminative feature alignment (DFA)，在高斯先验的指导下对齐源域数据和目标数据的discriminative的latent特征分布。 具体地，特征提取器G将input samples编码到latent特征空间中；解码器D将一个latent feature vector或一个Gaussian random vector解码回图像。 来自源域和目标域的样本共享编码器（G）和解码器（D）的参数。 可以将D视为正则化的一种形式。 我们利用KL散度来鼓励源域样本的latent分布接近于高斯先验。（Lkld）
     如果与源域类似，鼓励目标样本的latent分布接近高斯分布，从而实现两个域的分布对齐，这样做实际的效果不佳。所以本文通过减小解码器重构的（source、target）样本之间的unpaired L1-distance，以实现两个域的分布对齐，即使D（G（xs））和D（G（xt）之间的距离最小。本文将这种分布对齐方式称为distribution alignment loss。 我们进一步发现将D（G（xt））与D（zn）的距离最小化的效果更好。（Ldal）
   
   

2. 损失函数
   ①
   
   ②
   ③（Lcls）可以确保在先验latent特征空间上学习到源域的discriminative的特征。
   ④
   ⑤

3. 将DFA应用到MCD方法中
   小王爱迁移系列之二十一：最大分类器差异的领域自适应(MCD_DA)