笔记：Deep transfer network: unsupervised domain adaptation

最新推荐文章于 2022-09-02 09:53:44 发布
最新推荐文章于 2022-09-02 09:53:44 发布
阅读量7.4k 收藏 12
点赞数 2
分类专栏： domain adaptation
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1154761720/article/details/51345145
版权
该文介绍了一种利用最大均值差异（MMD）约束源域和目标域的边际分布及条件分布的深度迁移网络方法。通过MMD优化特征分布和分类结果分布，使两个领域的特征和分类结果尽可能接近。文章对比了传统方法和深度学习的应用，并提出了基于mini-batch的优化算法。此外，为解决目标域缺乏标签的问题，使用了简单的分类器生成伪标签。该方法关注于构建领域不变的特征，同时考虑了类别间的分布关系。
摘要由CSDN通过智能技术生成

这篇文章里提出了一种用MMD来同时对两个域上的marginal distribution和conditional distribution进行约束的迁移网络。
具体而言，用MMD来对两个域（源域和目标域）上的提取到的特征分布进行约束，从而使两个域上的特征分布尽可能相同，这个分布叫做marginal distribution；同时对两个域上的softmax分类结果用MMD来进行约束，使得两个分类结果的分布尽可能相同，这个分布叫做conditional distribution。这两个方面应该和这篇文章Long M, Wang J, Ding G, et al. Transfer feature learning with joint distribution adaptation[C]//Proceedings of the IEEE International Conference on Computer Vision. 2013: 2200-2207.的思路基本相同，不同之处在于这篇文章使用的是基于传统的方法，这里使用了深度学习。
由于本文并没有使用标准的卷积网络结构，所以最后取得的效果和之前的deep learning的方法并没有可比性，最后实验部分也是用的传统的浅层方法进行对比，没有与最新的基于deep learning方法对比。
文章方法的网络结构在文中表示如下：
architecture
首先是特征提取层，也就是图中的前l-1层，最后一层是分类层，输出的是属于每个类的概率。本文在第l-1层以及分类器的输出衡量源域和目标域基于MMD的分布损失。在特征分布上，通过在目标函数中的marginal MMD来衡量两个域上的分布区别，具体如下：

最低0.47元/天 解锁文章
泡温水澡的青蛙
关注
专栏目录
Deep Transfer Network: Unsupervised Domain Adaptation
02-09
Deep Transfer Network: Unsupervised Domain Adaptation
【深度学习】论文导读：无监督域适应（Deep Transfer Network: Unsupervised Domain Adaptation）
热门推荐
xf__mao的博客
01-14 2万+
一、Domain adaptation 在开始介绍之前，首先我们需要知道Domain adaptation的概念。Domain adaptation，我在标题上把它称之为域适应，但是在文中我没有再翻译它，而是保持它的英文原意，这也有助于我们更好的理解它的概念。 Domain adaptation的目标是在某一个训练集上训练的模型，可以应用到另一个相关但不相同的测试集上。 对这个问题列
论文笔记 ——《Learning Transferable Features with Deep Adaptation Networks》
ZZhangxyuuu的博客
12-09 1109
论文笔记 —— 《深度学习神经网络学习可迁移性的特征（ICML）》（《Learning Transferable Features with Deep Adaptation Networks》） 注意： 与前一篇论文《深度学习神经网络迁移性提升》的关系 单个自适应层变为多个 单核MMD变为多核MK-MMD 关键知识点 浅层可迁移性更好，层数越高越差（本文指后三层全连接层） 本文提出了新的多层自适...
论文笔记：Learning Transferable Features with Deep Adaptation Networks
travalscx的博客
07-11 1230
一个翻译： https://wenku.baidu.com/view/401fea41a55177232f60ddccda38376baf1fe00c.html https://blog.csdn.net/wei_guo_xd/article/details/74059110 这篇论文是使用mapping实现了DTL abstract 在深度网络中，特征的可迁移性在高层中随着域的差异增加而显著下...
2015_ICML_Learning Transferable Features with Deep Adaptation Networks
pain_gain0的博客
11-13 447
2015_ICML_Learning Transferable Features with Deep Adaptation Networks 因为深层特征会沿着网络从一般会沿着网络从一般过度到具体。 （1）卷积层1到3层提取到的特征是通用的，因此这些层被固定。 （2）卷积层4-5提取到特征可迁移性差，因此这些层可以通过精调来学习。 （3）全链接层fc6-fc9 为具体的任务定制的，因此它们不可以迁移，应该通过MK-MMD进行适应。 该网络结构是以AlexNet 为基础，进行扩展。 作者所提出
Domain Adaptation 论文笔记
ethanzhangg的博客
03-22 1008
Domain Adaptation paper个人笔记
一文读懂领域迁移与领域适应的常见方法
Paper weekly
03-29 8951
©PaperWeekly 原创 ·作者｜Chen单位｜追一科技AI Lab研究员研究方向｜领域迁移、领域适应领域迁移问题的背景及描述在使用机器学习、人...
GAN & domian adaptation
slzlincent的博客
11-30 749
GAN 发展：domain 变多 DC GAN cycle GAN Combo GAN Star GAN DA： 基于分布对齐， 基于 对抗等等 一般：one source one target multi-source domain adaptation multi-target domain adaptation
【论文笔记】迁移自适应学习综述
weixin_30480651的博客
03-28 4120
论文题目：《Transfer Adaptation Learning: A Decade Survey》 论文作者：Lei Zhang 论文链接：http://cn.arxiv.org/pdf/1903.04687.pdf 介绍 在很多实际的情况中, 源域(source domain)和目标域(target domain)之间存在： 分布不匹配(distribution mismatch) 领...
Learning transferable features with deep adaptation networks.pdf
07-28
Learning transferable features with deep adaptation networks.pdf，仅能供参考
第二十四篇——Unsupervised Domain Adaptation by Backpropagation.pdf
11-23
顶级的深层架构是在大量标记数据上训练的。在某项任务缺少标记数据时，域适应通常提供了一个有吸引力的选择，因为可以获得性质相似但来自不同领域的标记数据(例如合成图像)。在此，我们提出了一种新的领域适应方法，该方法可以训练来自源域的大量标记数据和来自目标域的大量未标记数据(不需要标记的目标域数据)。随着训练的进行，该方法促进了“深度”特征的出现，这些特征(i)对源域上的主要学习任务具有区分能力，(ii)对于域之间的转换不变性。我们表明，这种适应行为可以在几乎任何前馈模型中实现，通过增加少量的标准层和一个简单的新的梯度反转层。由此产生的增强架构可以使用标准的反向传播进行训练。总的来说，使用任何深度学
Learning Transferable Features with Deep Adaptation Networks
HHzdh的博客
09-02 2364
研究发现，随着domain之间差异性的增大，高层特征的可迁移性显著下降。作者针对这种情况，提出了“多核”和“多层”的想法，“多核”是指使用了多核MMD，“多层”是指适配了多层特征。
<Learning Transferable Features with Deep Adaptation Networks>caffe 添加MMDLoss层(caffe 自定义网络层)
小火车~
08-06 3330
这篇文章主要通过《Learning Transferable Features with Deep Adaptation Networks》这篇论文，增加MMDLoss网络层，对caffe增加网络层进行讲解。 1.添加头文件    在/caffe-master/include/caffe/layers/neuron_layer.hpp 中添加MMDLoss的头文件声明 #ifndef CAF
翻译“Learning Transferable Features with Deep Adaptation Networks”
wei_guo_xd的博客
07-01 5986
利用深度适应网络学习可迁移特征 摘  要：最近的研究表明深度神经网络可以学习可迁移特征，这些特征用于域适应时在新的任务上表现出很好的泛化能力。然而由于深度特征随着网络层数的增加由一般到特殊转变，特征的可迁移能力在网络高层急剧下降，极大地增加了域之间的差异性。因此减少不同数据集间的偏差，同时增加任务特征层的可迁移能力是非常重要的。在本文中，我们提出了一个新的深度适应网络（DAN)架构，把深度卷
最优传输论文（二十二）：Learning Transferable Features with Deep Adaptation Networks论文原理
lyy的博客
08-26 1015
目录前言摘要1.介绍2.Related Work3. Deep Adaptation Networks3.1. Model3.2. Algorithm3.3. Analysis 前言 本文是DAN的介绍论文，发表于2015年的ICML。 摘要 最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到新的领域适应任务。然而，随着深层特征最终沿着网络从一般特征过渡到特定特征，随着域差异的增加，特征可转移性在更高层中显著下降。因此，减少数据集偏差并增强特定于任务的layers的传输能力非常
cvpr 2019之迁移学习:contrastive adaptation network for unsupervised domain a
最新发布
01-28
CVPR 2019中发表了一篇题为“迁移学习:无监督领域自适应的对比适应网络（Contrastive Adaptation Network for Unsupervised Domain Adaptation）”的论文。这篇论文主要介绍了一种用于无监督领域自适应的对比适应网络。 迁移学习是指将从一个源领域学到的知识应用到一个目标领域的任务中。在无监督领域自适应中，源领域和目标领域的标签信息是不可用的，因此算法需要通过从源领域到目标领域的无监督样本对齐来实现知识迁移。 该论文提出的对比适应网络（Contrastive Adaptation Network，CAN）的目标是通过优化源领域上的特征表示，使其能够适应目标领域的特征分布。CAN的关键思想是通过对比损失来对源领域和目标领域的特征进行匹配。 具体地说，CAN首先通过一个共享的特征提取器来提取源领域和目标领域的特征表示。然后，通过对比损失函数来测量源领域和目标领域的特征之间的差异。对比损失函数的目标是使源领域和目标领域的特征在特定的度量空间中更加接近。最后，CAN通过最小化对比损失来优化特征提取器，以使源领域的特征能够适应目标领域。 该论文还对CAN进行了实验验证。实验结果表明，与其他无监督领域自适应方法相比，CAN在多个图像分类任务上取得了更好的性能，证明了其有效性和优越性。 综上所述，这篇CVPR 2019论文介绍了一种用于无监督领域自适应的对比适应网络，通过对源领域和目标领域的特征进行对比学习，使得源领域的特征能够适应目标领域。该方法在实验中展现了较好的性能，有望在无监督领域自适应任务中发挥重要作用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值