《Domain Agnostic Learning with Disentangled Representations》ICML 2019

　　这篇文章是ICML 2019上一篇做域适应的文章，无监督域适应研究的问题是如何把源域上训练的模型结合无lable的目标域数据使得该模型在目标域上有良好的表现。之前的研究都有个假设，就是数据来自哪个域是有着域标签的，其实这不太现实，就拿手写字识别打比方，不同的人使用不同的笔如纸张，那写出来的字会是不同的域的，识别的时候不可能模型还得需要知道待识别的字来自哪个域。这篇文章研究的内容是如何把有标注的源域信息迁移到无标注的任意目标域数据上。相当于是从1个源域到N个目标域的迁移，而一些之前的论文的假设是目标域数据都是从同一个分布采样的，所以它们的设定为1个源域到1个目标域，与这篇文章考虑的场景不同。

　　这个问题存在两个难点：1)目标数据来自混合的目标域，所以目前主流的特征对齐方法不太适用，2）类无关信息会导致负迁移，特别是当目标域高度异构的时候。为了解决这个问题，作者设计了一个深层对抗解耦自编码器（DADA）来从类标识中解耦出类特定的特征。作者的想法是一个域无关模型的学习不仅仅应该学习源域和目标域之间的不变性内容，它还应该从图像的剩余信息中分离出特定类的特征。

　　目前也有一些通过对抗训练从自编码器的隐空间进行特征解耦的工作，但是将他们用在这种1->N的场景下还是有点问题的。一是这些模型仅仅将隐藏层嵌入解耦为域不变特征和域特定特征(比如天气等)，然后将后者丢掉，没有显示的考虑分离类相关特征和类无关特征(比如背景等)。其次就是这些方法不能保证域不变特征和域特定特征的完全分离。下面来看看作者的解决方案。

 　　如上图所示，特征生成器$G$将输入图片映射到特征向量$f_{G}$，这个$f_{G}$是一个高度耦合的特征，所以后面编码器$D$的目的是将这个特征解耦为域不变特征$f_{di}$,域特定特征$f_{ds}$和类无关特征$f_{ci}$。特征重建器$R$的目的是接受($f_{di}$,$f_{ci}$)或($f_{di}$,$f_{ds}$)作为输入，然后重建出$f_{G}$。$D$和$R$使用VAE中的编码器与解码器实现。为了强调解耦，在($f_{di}$,$f_{ci}$)以及($f_{di}$,$f_{ds}$)上进行互信息最小化约束。在域判别器支路（白三角）通过对抗训练学习出域不变特征$f_{di}$。类判别器$C$（黑三角）通过在有标注的源域数据上预测类分布$f_{C}