[JAN]Deep transfer learning with joint adaptation networks

        DAN 的作者、清华大学的龙明盛在2017 年机器学习顶级会议ICML 上提出了JAN方法(Joint Adaptation Network)，在深度网络中同时进行联合分布的自适应和对抗学习。JAN 方法将只对数据进行自适应的方式推广到了对类别的自适应，提出了JMMD 度量(Joint MMD)。

Abstract

        深度网络已成功地应用于学习可转移（transferable）的特征，以适应模型从源域到不同的目标域的转换。本文提出了联合自适应网络(JAN， joint adaptation networks)，该网络基于联合最大平均偏差(JMMD，joint maximum mean discrepancy)准则，通过对多个区域特定层的联合分布进行跨区域对齐来学习迁移网络。采用对抗性训练策略最大化JMMD，使源域和目标域的分布更容易区分。学习可以通过随机梯度下降和反向传播计算的梯度在线性时间进行。实验证明，我们的模型在标准数据集上产生了最先进的结果。

1. Introduction

        在本文中，我们提出联合自适应网络(JAN，joint adaptation networks)，通过对多个区域特定层的联合分布进行跨区域对齐来学习迁移网络，实现无监督的领域适应。JAN在很大程度上扩展了深度适应网络DAN(Long et al.， 2015)对上述联合分布的推理能力，同时使训练过程更加简单。具体来说，JAN允许一个简单的转换管道，通过卷积神经网络(CNN)处理源域和目标域数据，然后在多个特定任务层对齐激活的联合分布。为了学习参数和实现alignment,，我们提出了联合最大均值差异(JMMD)，它衡量源域数据和目标域数据的经验联合分布的核均值embedding 之间的希尔伯特-施密特范数。（which measures the Hilbert-Schmidt norm between kernel mean embedding of empirical joint distributions of source and target data.）

2. Related Work

        主要介绍了Transfer learning的目的、主要技术问题。

4. Joint Adaptation Networks