论文笔记 —— 《Deep Transfer Learning with Joint Adaptation Networks》

最新推荐文章于 2023-03-02 17:05:03 发布
最新推荐文章于 2023-03-02 17:05:03 发布
阅读量5k 收藏 7
点赞数 2
文章标签： 迁移学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZZhangxyuuu/article/details/103484016
版权
本文探讨了《DeepTransferLearningwithJointAdaptationNetworks》论文,介绍了一种基于联合分布差异(JDD)的深度迁移学习方法。该方法通过最小化源域与目标域的联合分布差异,并结合交叉熵损失函数进行训练,以实现特征和分布的迁移。在目标域中,使用CNN分类器的预测值作为伪标签来表示其联合分布。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文笔记 —— 《Deep Transfer Learning with Joint Adaptation Networks》

摘要

  1. 适用范围：更一般化，特征、分布都变，Hilbert空间
  2. JDD用来衡量联合分布的差异，用BP训练
  3. 损失函数是交叉熵函数+JDD正则项【有点类似第一篇论文MMD的表达形式，基于分布差异的迁移方法的损失函数表达形式基本都是这样】
  4. 对源域带标签数据进行微调，让源域和目标域的联合分布变得相似
  5. 表示目标域联合分布时需要用到标签，本文使是使用CNN分类器的预测值作为伪标签。
IvyZZxy
关注
最优传输论文（二十三）：Deep Transfer Learning with Joint Adaptation Networks论文原理
lyy的博客
08-24 2624
目录前言摘要介绍2. Related Work3. Preliminary3.1. Hilbert Space Embedding3.2. Maximum Mean Discrepancy4.联合适应网络（Joint Adaptation Networks）4.1. Joint Maximum Mean Discrepancy4.2. Joint Adaptation Networks4.3.最佳MMD的对抗性训练5. Experiments5.1. Setup5.2.结果5.3. Analysis6.结论
深度迁移学习概述
makabaka的博客
10-08 2758
深度迁移学习概述： 深度迁移学习为传统迁移学习与深度神经网络相结合的一种新兴研究方向，以其对比非深度方法还有两个优势：自动化地提取更具现力的特征，以及满足了实际应用中的端到端 (End-to-End) 需求。 下图为深度迁移学习与传统迁移的结果比对。图中深度迁移学习方法 (BA、DDC、DAN) 对比传统迁移学习方法 (TCA、GFK 等)。 1.实验测试： 目前，深度迁移学习大致的思路为： 在...
[JAN]Deep transfer learning with joint adaptation networks
HHzdh的博客
03-02 3238
JAN结构
Transfer Feature Learning with Joint Distribution Adaptation
gdtop的个人笔记
04-11 4876
本篇是迁移学习专栏介绍的第三篇论文，JDA方法首次发表于2013年的ICCV，它的作者是清华大学的博士生（现为清华大学助理教授）龙明盛。本篇介绍的JDA相当于TCA的增强算法。前作：Domain Adaptation via Transfer Component Analysis。 Abstract 迁移学习是一种有效的计算机视觉技术，它利用源域中丰富的标记数据为目标域构建精确的分类器。然而，...
【论文笔记】迁移自适应学习综述
weixin_30480651的博客
03-28 4218
论文题目：《Transfer Adaptation Learning: A Decade Survey》 论文作者：Lei Zhang 论文链接：http://cn.arxiv.org/pdf/1903.04687.pdf 介绍 在很多实际的情况中, 源域(source domain)和目标域(target domain)之间存在： 分布不匹配(distribution mismatch) 领...
迁移学习_迁移学习简明手册(王晋东)_阅读笔记9
gXh的博客
11-24 1609
9.深度迁移学习 深度学习优势： 由于深度学习直接对原始数据进行学习，所以其对比非深度方法还有两个优势：自动化地提取更具表现力的特征，以及满足了实际应用中的端到端 (End-to-End) 需求。 最简单的深度迁移：fnetune 优势： 扩展： 深度网络自适应： fnetune有它的先天不足： 它无法处理训练数据和测试数据分布不同的情况。 自适应 能够使得源域和目标域的数据分布更加接近，从而使得网络的效果更好。 设计深度迁移网络的基本准则： 决定自适应层，然后在这些层加入自适应度量，最后对
原创 | 清华开源迁移学习算法库
数据派THU
08-01 755
作者：清华大数据软件团队机器学习组本文长度为1700字，建议阅读6分钟本文为你介绍Trans-Learn 算法库。Trans-Learn是基于PyTorch实现的一个高效、简洁的迁移学...
deep transfer learning with joint adaptation networks
04-28
Deep Transfer Learning with Joint Adaptation Networks是一种深度学习技术，它以迁移学习为基础，通过联合适应网络实现多个领域之间的知识迁移和转移。这种技术可以提高模型的泛化能力和性能，并且在实际场景中...
领域自适应论文总结系列（一）
qq_38402294的博客
11-03 4962
引言 领域自适应是迁移学习中的一类重要问题，主要解决当训练集和测试集的数据分布存在偏差时，如何使得训练出的分类器更好的适应测试集上的数据。早期的基于统计学习等浅层模型的做法主要是先设计一套特征提取方法，然后对训练集和测试集的特征进行分布匹配，此时再将分类器用到测试集上会取得更好的预测效果。但是这种分步式的操作效果还是比较有限的，不能同时兼顾数据分布和分类器的训练，要想实现端到端的在数据分布差异约束下进行分类训练，就要依靠神经网络。 近几年来使用深度学习方法解决领域自适应问题的文章有很多，都取得了比较好的效果
论文翻译七：Adversarial Transfer Learning for Deep Learning Based Automatic Modulation Classification
进击者笔记
12-21 1251
30天挑战翻译100篇论文 坚持不懈，努力改变，在翻译中学习，在学习中改变，在改变中成长… Adversarial Transfer Learning for Deep Learning Based Automatic Modulation Classification 基于对抗学习的深度学习自动调制分类 Ke Bu , Yuan He , Xiaojun Jing , and Jindong Han 摘要—自动调制分类有助于许多重要的信号处理应用。 最近，深度学习模型已在调制识别中采用，该模型优于基于手工
阅读《迁移学习简明手册》总结（二）
Ma_tx
01-07 6644
一、迁移学习的基本方法 1、基于样本迁移 根据一定的权重生成规则，对数据样本进行重用，进行迁移学习。 在迁移学习中对于源域和目标域，通常假定产生它们的概率分布是不同且未知的，由于实例的维度和数量通常非常大，因此直接对概率分布进行估计是不可行的，所以，大量的研究工作都着眼于对源域和目标域的分布比值进行估计，所估计得到的比值即为样本的权重。通常假设目标域与源域的比值小与无穷，源域和目标域的条件概率分布...
笔记：Deep transfer network: unsupervised domain adaptation
easylifer的专栏
05-08 7541
这篇文章里提出了一种用MMD来同时对两个域上的marginal distribution和conditional distribution进行约束的迁移网络。
迁移学习基本概述
CNMBNYZW2的博客
02-06 2627
迁移学习基本概述概述1. 迁移学习要做什么以及我们的目标2. 对DA的基本理解3. DA常见算法4. 无监督的域自适应算法4.1 基于差异的域自适应4.1.1 DDC4.1.2 DAN4.1.3 RTN4.1.4 JAN4.2 基于对抗的域自适应4.2.1 RevGrad4.2.2 iCAN4.2.3 MADA4.2.4 Weighted Adversarial Nets4.3 基于重构的域自适应4.3.1 DRCN4.3.2 DSN附录 概述   非深度学习时期，杨强[1]就首先提出迁移学习（Transf
A Survey on Deep Transfer Learning 2018 翻译
zisuina_2的博客
08-24 2147
A Survey on Deep Transfer Learning 2018 翻译 ((o)/~虽然这篇文章是2018年的,不是很新,但是写的通俗易懂,很适合刚接触迁移学习的同学,所以就翻译了) independent and identically distributed(i.i.d.)独立同分布 摘要 深度学习作为一种新兴的分类平台，近来日益受到研究人员的关注，并已成功应用于多个领域。在生物信息学和机器人学等领域，由于数据采集和标注成本高，构造一个大规模的，和标注良好的数据集是非常困难的，这些问题都
论文笔记 —— 《Transfer Feature Learning with Joint Distribution Adaptation》
ZZhangxyuuu的博客
12-09 1353
论文笔记 —— 《Transfer Feature Learning with Joint Distribution Adaptation》 Joint Distribution Adaptation联合分布适配(JDA)：降维过程中联合边缘分布和条件分布，并构造新的特征表示。 现有的迁移学习方法大致可以分为两类：实例重加权和特征提取，后者分为属性保存和分布适配（需要一些标记的目标数据，要么需要...
翻译“Learning Transferable Features with Deep Adaptation Networks”
wei_guo_xd的博客
07-01 6160
利用深度适应网络学习可迁移特征 摘  要：最近的研究表明深度神经网络可以学习可迁移特征，这些特征用于域适应时在新的任务上表现出很好的泛化能力。然而由于深度特征随着网络层数的增加由一般到特殊转变，特征的可迁移能力在网络高层急剧下降，极大地增加了域之间的差异性。因此减少不同数据集间的偏差，同时增加任务特征层的可迁移能力是非常重要的。在本文中，我们提出了一个新的深度适应网络（DAN)架构，把深度卷
迁移学习地图
fuyouzhiyi的博客
10-23 624
神经网络迁移学习 对抗迁移 Partial Transfer Learning with Selective Adversarial Networks 分类：基于样本的迁移学习方法；解决的是在源域的标签空间包含目标域的标签空间情况下，迁移学习的问题，其中目标域无标记数据，源域中有大量的标记数据。 方法:利用gan的判别器来选择与目标域样本相近的源域实现迁移 数据： 网络架构：G_f特征提...
Domain Adaptation总结（2017.9）
热门推荐
MataFela的博客
09-03 2万+
有一篇论文（[cvpr2017]Joint Geometrical and Statistical Alignment for Visual Domain Adaptation ）对Domain Adaptation做了一定的总结，我直接把我当时的翻译抄一下： 常见的域适应包括基于实例（instance-based）的适应、基于特征表示( feature representation）的适应、
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值