2019_ICML_Domain Agnostic Learning with Disentangled Representations

论文地址：https://arxiv.org/pdf/1904.12347.pdf
代码地址：https://github.com/VisionLearningGroup/DAL

1 研究动机与研究思路

研究动机：之前的研究都有一个强假设，目标数据从同一分布均匀采样。本文提出Domain-Agnostic Learning (DAL)问题，即如何把有标注的源域信息迁移到无标注的任意目标域数据上。这个问题存在两个难点：1)目标数据来自混合的目标域，所以目前主流的特征对齐方法不太适用，2）类无关信息会导致负迁移，特别是当目标域高度异构的时候。
研究思路：一种深层对抗解耦自编码器( Deep Adversarial Disentangled Autoencoder，DADA )，能够将特定领域中分离出特定类的特征。

2 主要工作

本文的主要贡献在于：

• 提出了领域不可知学习的新范式；
• 提出了一个端到端的深层对抗解耦自动编码器( DADA )，更好的学习特征解耦表示；
• 提出用类解耦来去除类无关特征，并最小化互信息来增强解耦。

3 DADA

3.1 符号定义

定义领域无关学习任务如下：给定一个具有 $n_s$个标注样本的源域 D ^ s = { ( x i s , y i s ) } i = 1 n s \widehat{\mathcal{D}}_s=\left\{\left(\mathbf{x}_i^s, y_i^s\right)\right\}_{i=1}^{n_s} D s​={ (xis​,yis​)}i=1ns​​ ，目标是在没有域标注的情况下最小化$N$个目标域 ${\hat{\mathcal{D}}}_t=\left\{{\hat{\mathcal{D}}}_1,{\hat{\mathcal{D}}}_2,\dots ,{\hat{\mathcal{D}}}_N\right\}$ 上的风险。我们将有 $n_t$个未标注样本的目标域记为${\hat{\mathcal{D}}}_t={\left\{{\mathrm{x}}_j^t\right\}}_{j=1}^{n_t}$。最小化目标风险${ϵ}_t(\theta )={\mathrm{Pr}}_{(\mathbf{x},y)\sim {\hat{\mathcal{D}}}_t}[\theta (\mathrm{x})\ne y]$，其中$\theta (\mathrm{x})$为分类器。

3.2 DADA总框架

DADA方法学习提取视觉类别的领域不变特征。除了领域解耦(蓝线)，还使用类别解耦(红线)来去除类别无关的特征（在有标签的源域上训练一个类标识符，解耦器生成特征来欺骗类标识符），两者都是对抗训练的，进一步应用互信息最小化器来加强解耦。
图1展示了所提出的模型, 特征生成器 $G$ 将输入图片映射到特征向量 $f_G$, 这个 $f_G$ 是一个高度耦合的特征, 所以后面编码器 $D$ 的目的是将这个特征解耦为域不变特征 $f_{di}$, 域特定特征 $f_{ds}$ 和类无关特征 f c i f_{c i}