[JAN]Deep transfer learning with joint adaptation networks

HHzdh

已于 2023-03-13 09:10:06 修改

阅读量3.2k

点赞数

分类专栏： Transfer learning 文章标签：深度学习人工智能

于 2023-03-02 17:05:03 首次发布

本文链接：https://blog.csdn.net/weixin_44855366/article/details/126744485

版权

Transfer learning 专栏收录该内容

6 篇文章

订阅专栏

JAN是一种深度网络方法，通过联合最大均值差异(JMMD)在多个层进行跨域对齐，以实现无监督的领域适应。它扩展了DAN的能力，简化了训练过程，利用CNN处理源域和目标域数据，并通过核均值embedding的希尔伯特-施密特范数学习迁移网络。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DAN 的作者、清华大学的龙明盛在2017 年机器学习顶级会议ICML 上提出了JAN方法(Joint Adaptation Network)，在深度网络中同时进行联合分布的自适应和对抗学习。JAN 方法将只对数据进行自适应的方式推广到了对类别的自适应，提出了JMMD 度量(Joint MMD)。

Abstract

深度网络已成功地应用于学习可转移（transferable）的特征，以适应模型从源域到不同的目标域的转换。本文提出了联合自适应网络(JAN， joint adaptation networks)，该网络基于联合最大平均偏差(JMMD，joint maximum mean discrepancy)准则，通过对多个区域特定层的联合分布进行跨区域对齐来学习迁移网络。采用对抗性训练策略最大化JMMD，使源域和目标域的分布更容易区分。学习可以通过随机梯度下降和反向传播计算的梯度在线性时间进行。实验证明，我们的模型在标准数据集上产生了最先进的结果。

1. Introduction

在本文中，我们提出联合自适应网络(JAN，joint adaptation networks)，通过对多个区域特定层的联合分布进行跨区域对齐来学习迁移网络，实现无监督的领域适应。JAN在很大程度上扩展了深度适应网络DAN(Long et al.， 2015)对上述联合分布的推理能力，同时使训练过程更加简单。具体来说，JAN允许一个简单的转换管道，通过卷积神经网络(CNN)处理源域和目标域数据，然后在多个特定任务层对齐激活的联合分布。为了学习参数和实现alignment,，我们提出了联合最大均值差异(JMMD)，它衡量源域数据和目标域数据的经验联合分布的核均值embedding 之间的希尔伯特-施密特范数。（which measures the Hilbert-Schmidt norm between kernel mean embedding of empirical joint distributions of source and target data.）