最优传输论文（二十三）：Deep Transfer Learning with Joint Adaptation Networks论文原理

前言

• 本论文就是JAN的出处。
• 2017年的ICML。

摘要

• 深度网络已经成功地应用于学习可转移特征，以使模型从源域适应不同的目标域。在本文中，我们提出了联合自适应网络(JAN)，该网络通过基于联合最大平均差异(JMMD)标准对齐跨域的多个域特定层的联合分布来学习传输网络。采用对抗训练策略来最大化JMMD，使得源域和目标域的分布更容易区分。学习可以通过随机梯度下降来执行，梯度通过线性时间内的反向传播来计算。实验证明，我们的模型在标准数据集上产生了最先进的结果。

介绍

• 深度网络显著改善了各种机器学习问题和应用的技术水平。不幸的是，令人印象深刻的性能提升只有在大量标记数据可用于监督学习时才会出现。由于动态地为不同的应用领域手动标记足够的训练数据通常是令人望而却步的，因此对于缺少标记数据的目标任务来说，有很强的动机来构建能够利用来自不同源领域的丰富标记数据的有效学习者。然而，这种学习范式受到跨不同领域的数据分布变化的影响，这在为目标任务调整预测模型方面构成了主要障碍(Quionero-Candela等人，2009；潘永昂，2010)。
• 在训练和测试分布之间存在偏差的情况下，学习一个区分模型被称为迁移学习或领域适应(Pan & Y ang，201