论文地址:https://arxiv.org/pdf/1904.12347.pdf
代码地址:https://github.com/VisionLearningGroup/DAL
1 研究动机与研究思路
研究动机:之前的研究都有一个强假设,目标数据从同一分布均匀采样。本文提出Domain-Agnostic Learning (DAL)问题,即如何把有标注的源域信息迁移到无标注的任意目标域数据上。这个问题存在两个难点:1)目标数据来自混合的目标域,所以目前主流的特征对齐方法不太适用,2)类无关信息会导致负迁移,特别是当目标域高度异构的时候。
研究思路:一种深层对抗解耦自编码器( Deep Adversarial Disentangled Autoencoder,DADA ),能够将特定领域中分离出特定类的特征。
2 主要工作
本文的主要贡献在于:
- 提出了领域不可知学习的新范式;
- 提出了一个端到端的深层对抗解耦自动编码器( DADA ),更好的学习特征解耦表示;
- 提出用类解耦来去除类无关特征,并最小化互信息来增强解耦。
3 DADA
3.1 符号定义
定义领域无关学习任务如下:给定一个具有 n s n_s ns个标注样本的源域 D ^ s = { ( x i s , y i s ) } i = 1 n s \widehat{\mathcal{D}}_s=\left\{\left(\mathbf{x}_i^s, y_i^s\right)\right\}_{i=1}^{n_s} D s={ (xis,yis)}i=1ns ,目标是在没有域标注的情况下最小化 N N N个目标域 D ^ t = { D ^ 1 , D ^ 2 , … , D ^ N } \widehat{\mathcal{D}}_t=\left\{\widehat{\mathcal{D}}_1, \widehat{\mathcal{D}}_2, \ldots, \widehat{\mathcal{D}}_N\right\} D t={ D 1,D 2,…,D N} 上的风险。我们将有 n t n_t nt个未标注样本的目标域记为 D ^ t = { x j t } j = 1 n t \widehat{\mathcal{D}}_t=\left\{\mathrm{x}_j^t\right\}_{j=1}^{n_t} D t={ xjt}j=1nt。最小化目标风险 ϵ t ( θ ) = Pr ( x , y ) ∼ D ^ t [ θ ( x ) ≠ y ] \epsilon_t(\theta)=\operatorname{Pr}_{(\mathbf{x}, y) \sim \widehat{\mathcal{D}}_t}[\theta(\mathrm{x}) \neq y] ϵt(θ)=Pr(x,y)∼D t[θ(x)=y],其中 θ ( x ) \theta(\mathrm{x}) θ(x)为分类器。
3.2 DADA总框架
DADA方法学习提取视觉类别的领域不变特征。除了领域解耦(蓝线),还使用类别解耦(红线)来去除类别无关的特征(在有标签的源域上训练一个类标识符,解耦器生成特征来欺骗类标识符),两者都是对抗训练的,进一步应用互信息最小化器来加强解耦。
图1展示了所提出的模型, 特征生成器 G G G 将输入图片映射到特征向量 f G f_G fG, 这个 f G f_G fG 是一个高度耦合的特征, 所以后面编码器 D D D 的目的是将这个特征解耦为域不变特征 f d i f_{d i} fdi, 域特定特征 f d s f_{d s} fds 和类无关特征 f c i f_{c i}