深度子领域自适应的方法（DSAN）「迁移学习」「AI核心算法」

最新推荐文章于 2024-05-31 20:34:28 发布
最新推荐文章于 2024-05-31 20:34:28 发布
阅读量9.8k 收藏 63
点赞数 2
文章标签： 机器学习 人工智能 深度学习 计算机视觉 python
原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MTc3ODYwNA==\x26amp;mid=2247483993\x26amp;idx=1\x26amp;sn=7df3ee553d0b6559a457220f3a805edd\x26amp;chksm=fb8d621ac
版权

关注：决策智能与机器学习，深耕AI脱水干货

作者：朱勇椿  来源：王晋东不在家（ID：yourwjd）

转载请联系作者

本期我们将为大家介绍一种极为简单的「深度子领域自适应的方法（DSAN）」，在大多数方法都使用很多项loss相加、越来越复杂的大环境下，这篇文章仅使用一个分类loss和一个自适应loss，方法极为简单，但是效果却非常不错，几乎在所有的主流DA数据集（office-home, office31, Image-CLEF,VisDA-2017, digits）上均有不错的效果。

这篇文章近期发表在一区期刊IEEE Transactions on Neural Networks and Learning Systems (IEEE TNNLS)上，主要作者团队来自中科院计算所与微软亚洲研究院。文章相关链接：

IEEE链接：https://ieeexplore.ieee.org/document/9085896

PDF：http://jd92.wang/assets/files/a24tnnls20.pdf

代码：https://github.com/easezyc/deep-transfer-learning/tree/master/UDA/pytorch1.0/DSAN

背景介绍

近年来无监督领域自适应（unsupervised domain adaptation, UDA）吸引了众多研究者的注意。Deep UDA的方法通常将目标领域数据和源领域数据通过一个深度神经网络提取特征，然后在这个特征空间中对两个领域的特征进行对齐（alignment），希望通过特征对齐减少两个领域间的特征差异。特征对齐的方法通常有两大类，metric-based和adversarial-based。在早期的研究中，大多数方法都进行全局对齐（不考虑任何细粒度的信息，比如标签），最近几年，开始出现了很多更细粒度的方法，这些方法将标签信息纳入考虑。

这些细粒度的方法通常是adversarial-based，众所周知，基于对抗的方法通常面临收敛速度慢，收敛难的问题，并且会使用一长串loss，非常复杂。

这里介绍的这篇工作解决了上述一系列问题。首先，定义了「子领域」的概念，一个领域下可以依据一些条件，将相似的样本划分到一个子领域，比如使用类标签作为划分依据，同一类放到一个子领域（这篇文章采用类别作为划分依据）。接着不再进行全局对齐，而是分别对相关的子领域进行对齐。

子领域自适应的思想如图所示。

subdomain adaptation

基于子领域自适应的思想，这篇文章提出了一种极为简单的方法——「深度子领域自适应网络（Deep Subdomain Adaption Network, DSAN）」。DSAN方法使用一种**Local MDD(LMMD)**来对齐分布，取得了近几年metric-based方法中最好的效果。

方法介绍

DSAN方法非常之简单，如下图所示：只使用LMMD在不同的层进行对齐。

DSAN

我们使用类别划分来定义子领域，一个子领域就是一个类别，所以LMMD的定义如下：

注意，这里的w在这篇文章中是根据类别定义，实质上，w的定义是非常灵活的，这个部分很容易扩展，比如使用多个相近的类来定义子领域。权重w的定义如下：

这里源领域数据使用真实标签，而目标领域数据使用网络预测的概率分布。LMMD的展开式如下：

整个网络使用如下损失函数进行优化：

上述第一项使用交叉熵作为分类损失，第二项使用LMMD作为自适应损失。可以看到优化目标相比于大多数UDA的方法来说是非常简单的。

实验效果

这篇文章的思想非常简单，但是效果却超越了大多数复杂的方法，在5个数据集上效果如下。

ImageCLEF:

Office31:

OfficeHome:

VisDA-2017:

digits:

DSAN取得了当前metric-based UDA方法最好的效果。和比较著名的JAN进行了一些分析实验：

并且将DSAN和现有的细粒度对齐的方法进行了比较，可以看出DSAN不使用对抗，并且loss少，超参数少，运行时间更快，达到的效果也更好：

总结

近年来，越来越多的研究者为了解决DA问题，倾向于提出一些越来越复杂的方法。但是事实上，越简单的方法往往是越有效果的。因为它关注了DA的本质性问题，而不会被各种新颖的loss冲昏头脑不知道自己到底在干什么。DSAN是就是这样一种非常简单有效的细粒度方法。在未来，读者可以基于DSAN做很多扩展，也希望更多的研究者去做简单但抓住问题本质的方法，「回归研究的本质」，而不是一味地堆叠各种炫酷的模块来达到目的。

References

[1] Zhu Y, Zhuang F, Wang J, et al. Deep Subdomain Adaptation Network for Image Classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020.

本文作者：朱勇椿，中国科学院计算技术研究所博士生，研究方向为数据挖掘和迁移学习。

历史精华好文

交流合作

请加微信号：yan_kylin_phenix，注明姓名+单位+从业方向+地点，非诚勿扰。

九三智能控v
关注
  • 2
    点赞
  • 踩
  • 63
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
deep-transfer-learning:深度域自适应算法的实现集合
05-03
在PyTorch上进行深度转移学习 这是用于深度迁移学习的PyTorch库。 我们将代码分为两个方面：单源无监督域自适应（SUDA）和多源无监督域自适应（MUDA）。 SUDA方法很多，但是我发现有一些深度学习的MUDA方法。 此外，具有深度学习的MUDA可能是领域适应性更广阔的方向。 在这里，我实现了一些深度传输方法，如下所示： UDA DDC：针对领域不变性的深度领域混淆最大化 DAN：通过深度适应网络学习可转让特性（ICML2015） Deep Coral：用于深域适应的Deep CORAL相关对齐（ECCV2016） Revgrad：通过反向传播进行无监督域自适应（ICML2015） MRAN：用于跨域图像分类的多表示自适应网络（Neural Network 2019） DSAN：用于图像分类的深度子域适配网络（神经网络和学习系统2020的IEEE交易） 慕达对齐特
Deep subdomain adaptation network （DSAN）细粒度领域自适应2020 image classification
weixin_44523062的博客
10-18 1678
细粒度对齐方法，local domain shift 子领域对齐（可看作每类是一个子领域），语义对齐，匹配条件（概率）分布 subdomain adaptation (also called semantic alignment or matching conditional distribution) https://zhuanlan.zhihu.com/p/254856261 http://jd92.wang/assets/files/a24tnnls20.pdf 王晋东：Balance 边缘和条件
迁移学习：子领域自适应DSAN和LMMD原理深析和tensorflow实战
最新发布
2401_85375186的博客
05-31 1110
DSAN（Deep Subdomain Adaptation Network），深度子领域自适应网络，相比传统的深度领域适配网络引入了子领域的概念，一个领域下可以依据一些条件，将相似的样本划分到一个子领域，比如使用类标签作为划分依据，同一类放到一个子领域，**不再进行全局对齐，而是分别对相关的子领域进行对齐**。
【域适应十一】Deep Subdomain Adaptation Network for Image Classification(DSAN)（2021 IEEE Trans）
m0_60231311的博客
11-02 514
以前的深域自适应方法主要学习全局域偏移，导致在没有捕获细粒度信息的情况下迁移学习性能不令人满意。近年来，越来越多的研究人员关注子域自适应，其重点是准确对齐相关子域的分布。然而，它们大多是对抗性方法，包含几个损失函数，收敛缓慢。基于此，本文提出了一种深层子域自适应网络（DSAN），该网络通过基于局部最大均值差异（LMMD）在不同域之间对齐域特定层激活的相关子域分布来学习转移网络，不需要对抗性训练，收敛速度快。
DSAN 学习笔记
qq_44001342的博客
02-10 4682
深度监督学习注意力网络下的人脸表情识别（阅读笔记）
DSAN代码:Deep Subdomain Adaptation Network forImage Classification
weixin_44575717的博客
07-07 1719
Deep Subdomain Adaptation Network for Image Classification
深度子领域迁移网络（DSAN） 阅读笔记
JuJuc09的博客
09-16 1636
以往大多数深度域自适应方法都进行全局对齐（不考虑任何细粒度的信息，比如标签），会混淆源域/目标域的数据，丢失每个类别的细粒度信息。本文提出了一种。
【IEEE Transactions NNLS】DSAN: Deep Subdomain Adaptation Network for Image Classification译读笔记
墨门
11-10 839
摘要 对于标注数据难以获取的目标任务来说，域自适应能够将知识从一个不同的源域中将知识迁移过来。之前的深度域自适应方法主要学习全局域漂移，即在全局上对齐源分布和目标分布，而不考虑两个同类别不同域的子域之间的联系，导致没有捕获细粒度特征使得迁移效果不理想。近期，越来越来的研究者关注于子域自适应，即聚焦于更加准确地对齐相关联子域的分布。然而，其中大多数是对抗学习的方法，包含多个损失函数于是收敛缓慢。基于此，作者提出一种深度子域自适应网络（Deep Subdomain Adaptation Network, DSA
深度子域适应网络：Deep Subdomain Adaptation Network for Image Classification
Eason_Swag的博客
06-02 6304
1、简介 深度学习需要大量的标签样本，为解决标签问题提出了迁移学习，即从相关的source domain 去学习标签好的数据。但由于不同域间的数据分布也不同，所以学习得到的模型泛化能力不高。 在训练、测试数据的分布有变动的情况下去学习一个判别模型叫做domain adaptation 或transfer distributions。 在深度特征学习中嵌入domain adaptation模块去提取固定特征 已经证明能带来新的优势。之前的domain adaptation都是在全局域上做迁移，导致一个域内不同
领域自适应(Domain Adaptation)方法综述
SmartLab307的博客
04-27 7947
领域自适应(Domain Adaptation)方法综述
领域自适应（Domain Adaptation）的简单介绍
百年孤独百年的博客
05-30 8524
领域自适应（Domain Adaptation）是指通过学习源领域和目标领域之间的差异，来实现将源领域的模型迁移到目标领域的能力。在实际应用中，由于数据的获取和标注成本较高，我们通常会面临数据集不完整、不平衡、标注不准确等问题，这些问题会影响模型的泛化能力和性能。领域自适应可以帮助我们解决这些问题，提升模型的泛化能力和性能。
(原文+译文)DeepSubdomainAdaptationNetworkforImageClassification(用于图像分类的深度子域自适应网络)
10-20
Deep Subdomain Adaptation Network for Image Classification(用于图像分类的深度子域自适应网络)王晋东2020年最新文章全文翻译。 对于没有标记数据的目标任务，域适应可以将知识从不同的源域迁移过来。以往的深度域适应方法主要是学习全局的域迁移，即对齐源域和目标域的全局分布，而不考虑同一类别不同域中的两个子域之间的关系，在没有捕捉到细粒度信息的情况下导致迁移学习效果不佳。近年来，越来越多的研究者开始关注子域自适应问题，重点是准确地对齐相关子域的分布。然而，它们大多包含多个损失函数且收敛缓慢的对抗性方法。在此基础上，我们提出了一种深度子域自适应
linux完全学习手册
11-18
《Linux完全学习手册》是一本综合性的Linux指南，旨在帮助读者全面掌握Linux操作系统的基础与进阶知识。本书的作者凭借多年的Linux实践经验，将系统性、实用性的内容融入其中，为初学者和有经验的用户提供了丰富的...
dsan仓库管理系统源码
02-22
【标题】"dsan仓库管理系统源码"是一个用于学习和参考的软件项目，它模仿了QQ的界面设计，旨在提供一个简易的仓库管理解决方案。这个系统可能包含了仓库库存的录入、查询、更新和删除等功能，方便用户对仓库中的商品...
强化学习|底层逻辑与本质 引导式学习
To be a better man
07-09 365
在MDP中，智能体以特定的状态开始，然后在每个时间步选择一个行动，接收来自环境的奖励和下一个状态。智能体的目标是学习一种策略，即在给定状态下选择最优行动，以最大化累积奖励。在强化学习中，策略网络和价值网络通常可以相互结合，形成混合算法，例如Actor-Critic算法，其中策略网络（Actor）用于执行动作选择，价值网络（Critic）用于评估行动的价值。强化学习的本质是一个智能体通过与环境的交互，通过尝试和错误的方式学习如何采取行动来最大化累积奖励。这位同学博客的图做得很好，可以进行参考，讲的真的很好。
强化学习与马尔科夫
weixin_44895864的博客
04-02 1486
序言 最近一直看论文，啃到了马尔科夫与强化学习这个硬骨头，痛甚者，因看书与博客，有了一点点解，今分给众，若能使汝亦损痛，是吾之幸。 一、强化学习的两个基本概念 首先在要了解在强化学习里有两个基本的概念，Environment和Agent。 Environment指的是外部环境，在游戏中就是游戏的环境。Agent指的是智能体，指的就是你写的算法，在游戏中就是玩家，智能体通过一套策略输出一个行为（Action）作用到环境，环境则反馈状态值，也就是Observation，和奖励值Reward到智能体，同时环境会转
Domain Adaptation（领域自适应，MMD，DANN）
热门推荐
nakaizura
12-26 3万+
Domain Adaptation 现有深度学习模型都不具有普适性，即在某个数据集上训练的结果只能在某个领域中有效，而很难迁移到其他的场景中，因此出现了迁移学习这一领域。其目标就是将原数据域（源域，source domain）尽可能好的迁移到目标域（target domain），Domain Adaptation任务中往往源域和目标域属于同一类任务，即源于为训练样本域（有标签），目标域为测集域，其测试集域无标签或只有少量标签，但是分布不同或数据差异大，具体根据这两点可以划分为： homogeneous .
在pytorch上实现基于DSAN（Deep Subdomain Adaptation Network）的域自适应回归迁移学习
07-09
对于在PyTorch上实现基于DSAN的域自适应回归迁移学习，你可以按照以下步骤进行操作： 1. 导入所需的库和模块： ```python import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader ``` 2. 定义DSAN模型： ```python class DSAN(nn.Module): def __init__(self): super(DSAN, self).__init__() # 定义模型结构 def forward(self, x): # 定义前向传播逻辑 return x ``` 3. 定义自适应损失函数： ```python class DSANLoss(nn.Module): def __init__(self): super(DSANLoss, self).__init__() # 定义损失函数 def forward(self, output, target): # 计算损失函数值 return loss ``` 4. 定义域自适应回归迁移学习的训练函数： ```python def train(model, dataloader, criterion, optimizer): model.train() # 迭代训练数据集 for i, (source_data, target_data) in enumerate(dataloader): # 前向传播计算输出 outputs = model(source_data) # 计算损失函数值 loss = criterion(outputs, target_data) # 反向传播更新参数 optimizer.zero_grad() loss.backward() optimizer.step() ``` 5. 定义数据加载器和优化器： ```python # 实例化数据加载器 source_dataloader = DataLoader(source_dataset, batch_size=batch_size, shuffle=True) target_dataloader = DataLoader(target_dataset, batch_size=batch_size, shuffle=True) # 实例化模型和损失函数 model = DSAN() criterion = DSANLoss() # 定义优化器 optimizer = optim.Adam(model.parameters(), lr=learning_rate) ``` 6. 执行迁移学习的训练过程： ```python for epoch in range(num_epochs): train(model, source_dataloader, criterion, optimizer) ``` 这是一个基本的框架，你可以根据自己的需求进行修改和扩展。同时，你需要根据实际情况准备好源领域和目标领域的数据集，并根据自己的任务定义模型结构和损失函数。在训练过程中，通过适当调整超参数和优化策略，以获得最佳的迁移学习效果。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值