《Domain Separation Networks》

Abstract

现有的方法要么关注于将表示从一个域映射到另一个域，要么学习提取域不变性的特征。
由于只关注于创建两个域之间的映射或共享表示，他们忽略了每个域的单独特征。
明确地建模每个领域的独有的可以提高模型提取领域不变特征的能力。

受私有共享组件分析工作的启发，我们明确地学习两个子空间的图像表示:一个组件对每个域私有，另一个组件跨域共享。
我们的模型不仅被训练在源域执行我们关心的任务，而且还使用分割表示来重建两个域的图像。

Introduction

我们的模型为每个域引入了私有子空间的概念，它捕获特定于域的属性，通过使用自动编码器和显式丢失函数强制执行的共享子空间捕获由域共享的表示。
通过寻找与私有子空间正交的共享子空间，我们的模型能够分离每个域的惟一信息，并在此过程中产生对当前任务更有意义的表示。

他们的领域对抗神经网络(DANN)展示了一个架构，其前几个特征提取层由同时训练的两个分类器共享。第一个被训练为正确预测源数据上特定于任务的类标签，而第二个被训练为预测每个输入的领域。DANN最小化了特定于域分类器的参数的域分类损失，同时最大化了这两种分类器共同的参数。通过使用梯度反转层(GRL)，这种极大极小优化成为可能。

Method

目标：在源域训练一个分类器，让它泛化到目标域。

我们的主要新颖之处是，受最近关于共享空间组件分析的工作[15,25,31]的启发，dsn显式地并联合建模域表示的私有和共享组件。表示的私有组件特定于单个域，而表示的共享组件由两个域共享。

为了诱导模型产生这样的分裂表示，我们添加了一个损失函数，以鼓励这些部分的独立性。

后，为了确保私有表示仍然有用(避免琐碎的解决方案)并增加可泛化性，我们还添加了重构损失。

这些目标的组合是一个模型，该模型生成了一个共享表示，该表示对于域是相似的，而私有表示是不同的。

在共享表示上训练的分类器能够更好地泛化跨域，因为它的输入不受每个域唯一表示方面的影响。

learning

利用源域训练的的分类损失

重构损失

差异损失鼓励了每个域的共享表示和私有表示之间的正交性:

相似损失

将分开来，努力分开共享和私有，提取共同的共享，然后在源域共享上训练一个分类器，相信他也是可以泛化的目标域上的。
私有可以隔离很多噪音