论文笔记：Learning Transferable Features with Deep Adaptation Networks

最新推荐文章于 2020-11-13 09:08:18 发布
最新推荐文章于 2020-11-13 09:08:18 发布
阅读量1.2k 收藏 4
点赞数
分类专栏： 神经网络 迁移学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/travalscx/article/details/95479844
版权

一个翻译：
https://wenku.baidu.com/view/401fea41a55177232f60ddccda38376baf1fe00c.html
https://blog.csdn.net/wei_guo_xd/article/details/74059110

这篇论文是使用mapping实现了DTL

abstract

  1. 在深度网络中，特征的可迁移性在高层中随着域的差异增加而显著下降
  2. 减少数据集的偏差和加强特定任务层的迁移能力非常重要
  3. 论文提出深度学习域适应结构DAN，将卷积神经网络推广到域适应情境中
  4. DAN中所有任务层的隐藏表示都能嵌入到Hilber空间中

introduction

  1. 对图片学习，TL很重要，如果能从有训练数据的数据集中学到的特征知识迁移到没有足够训练数据的数据集中应用，即将已有的经验应用到新的任务重去，这可以节省相当大的成本。
  2. DAN联合卷积神经网络，减小域差异来实现。（域差异指的是源域和目标域的差异）
    DAN网络可以学习可跨越域差异的可迁移特性

model
使用CNN结合了MK-MMD
网络的结构：
在这里插入图片描述
训练目标在这里插入图片描述

玛卡巴卡米卡巴卡
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
最优传输论文（二十二）：Learning Transferable Features with Deep Adaptation Networks论文原理
lyy的博客
08-26 1001
目录前言摘要1.介绍2.Related Work3. Deep Adaptation Networks3.1. Model3.2. Algorithm3.3. Analysis 前言 本文是DAN的介绍论文，发表于2015年的ICML。 摘要 最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到新的领域适应任务。然而，随着深层特征最终沿着网络从一般特征过渡到特定特征，随着域差异的增加，特征可转移性在更高层中显著下降。因此，减少数据集偏差并增强特定于任务的layers的传输能力非常
翻译“Learning Transferable Features with Deep Adaptation Networks”
wei_guo_xd的博客
07-01 5978
利用深度适应网络学习可迁移特征 摘  要：最近的研究表明深度神经网络可以学习可迁移特征，这些特征用于域适应时在新的任务上表现出很好的泛化能力。然而由于深度特征随着网络层数的增加由一般到特殊转变，特征的可迁移能力在网络高层急剧下降，极大地增加了域之间的差异性。因此减少不同数据集间的偏差，同时增加任务特征层的可迁移能力是非常重要的。在本文中，我们提出了一个新的深度适应网络（DAN)架构，把深度卷
Learning transferable features with deep adaptation networks.pdf
07-28
Learning transferable features with deep adaptation networks.pdf，仅能供参考
论文笔记 ——《Learning Transferable Features with Deep Adaptation Networks》
ZZhangxyuuu的博客
12-09 1104
论文笔记 —— 《深度学习神经网络学习可迁移性的特征（ICML）》（《Learning Transferable Features with Deep Adaptation Networks》） 注意： 与前一篇论文《深度学习神经网络迁移性提升》的关系 单个自适应层变为多个 单核MMD变为多核MK-MMD 关键知识点 浅层可迁移性更好，层数越高越差（本文指后三层全连接层） 本文提出了新的多层自适...
Learning Transferable Features with Deep Adaptation Networks
qq_42722278的博客
04-24 571
论文相关内容 本文中域适应的方法及目的 haI最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到新的领域适应任务。然而，随着深度特征在网络中最终由一般特征向特定特征过渡，随着区域差异的增大，深度特征在更高层次上的可移植性显著下降。因此，形式化地减少数据集偏差，增强任务特定层的可移植性是非常重要的。本文提出了一种新的深度适应方法网络(DAN)结构，将深度卷积神经网络推广到领域...
<Learning Transferable Features with Deep Adaptation Networks>caffe 添加MMDLoss层(caffe 自定义网络层)
小火车~
08-06 3330
这篇文章主要通过《Learning Transferable Features with Deep Adaptation Networks》这篇论文，增加MMDLoss网络层，对caffe增加网络层进行讲解。 1.添加头文件    在/caffe-master/include/caffe/layers/neuron_layer.hpp 中添加MMDLoss的头文件声明 #ifndef CAF
2015_ICML_Learning Transferable Features with Deep Adaptation Networks
pain_gain0的博客
11-13 442
2015_ICML_Learning Transferable Features with Deep Adaptation Networks 因为深层特征会沿着网络从一般会沿着网络从一般过度到具体。 （1）卷积层1到3层提取到的特征是通用的，因此这些层被固定。 （2）卷积层4-5提取到特征可迁移性差，因此这些层可以通过精调来学习。 （3）全链接层fc6-fc9 为具体的任务定制的，因此它们不可以迁移，应该通过MK-MMD进行适应。 该网络结构是以AlexNet 为基础，进行扩展。 作者所提出
(原文+译文)DeepSubdomainAdaptationNetworkforImageClassification(用于图像分类的深度子域自适应网络)
10-20
Deep Subdomain Adaptation Network for Image Classification(用于图像分类的深度子域自适应网络)王晋东2020年最新文章全文翻译。 对于没有标记数据的目标任务，域适应可以将知识从不同的源域迁移过来。以往的深度域适应方法主要是学习全局的域迁移，即对齐源域和目标域的全局分布，而不考虑同一类别不同域中的两个子域之间的关系，在没有捕捉到细粒度信息的情况下导致迁移学习效果不佳。近年来，越来越多的研究者开始关注子域自适应问题，重点是准确地对齐相关子域的分布。然而，它们大多包含多个损失函数且收敛缓慢的对抗性方法。在此基础上，我们提出了一种深度子域自适应
Deep Transfer Network: Unsupervised Domain Adaptation
02-09
Deep Transfer Network: Unsupervised Domain Adaptation
笔记：Deep transfer network: unsupervised domain adaptation
easylifer的专栏
05-08 7438
这篇文章里提出了一种用MMD来同时对两个域上的marginal distribution和conditional distribution进行约束的迁移网络。
影响力最大化，传播模型
travalscx的博客
09-18 3049
基本传播模型 IC LT IM算法分类 贪心算法 KK（2003） CELF（2007）https://www.cnblogs.com/aaronhoo/p/6548760.html DegreeDiscount（2009） 基于度数 中心度 MaxDegree 选择图中度数最大的K个度。但会有邻居重叠 SCG 基于社区 OASNET 基于社区的动态规划。假设社区是不联系的，但真实社区联系...
论文笔记：PTE: Predictive Text Embedding through Large-scale Heterogeneous Text Network
travalscx的博客
02-12 2561
PTE: Predictive Text Embedding through Large-scale Heterogeneous Text Network步骤建立异构网络embedding训练总结 和前几篇目标函数差不多。 步骤 建立异构网络 如下图，通过文本建立起来的网络分为三部分 （1）word-word，每一个word是一个顶点，边上的权重是两个word同时出现的次数。 （2）word-do...
interpretable machine learning
travalscx的博客
12-02 2149
最近入了可解释机器学习的坑。 Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead 1.模型的准确度和可解释度成反比，accuracy/ interpretability/explainability trade-off。有图...
论文笔记：Asymmetric Transitivity Preserving Graph Embedding
travalscx的博客
01-27 1979
Max-Margin DeepWalk: Asymmetric Transitivity Preserving Graph Embedding概览方法总结 概览 对有向图的节点进行embedding。 对于每个顶点，的到两个embedding后的向量，一个是source，一个是target。因为是有向图，此顶点可能是一条路径的源头，也有可能是一条路径的终点。 方法 论文的核心目的是： 其中s是相...
论文笔记：WaveNet: A Generative Model For Raw Audio
travalscx的博客
04-21 1969
WaveNet: A Generative Model For Raw Audio 目的主要是：生成的语音听起来比其他的tts方法更流畅。 还可以实现：文本到语音，语音转换，生成音乐，辨别 其实就是提供了一个通用的网络，加以改造就能够完成不同的任务 相关的知识： PixelCnn 用于图片生成的cnn casual convolution 因果卷积 dilated convolution 扩展卷积...
SPL：self-paced learning 自步学习
travalscx的博客
12-05 1802
课程学习：首先学习简单的、普适性的知识结构，然后逐渐增加难度，过渡到学习更复杂、更专业化的知识。 self-paced learning通过添加一个正则项(SP-regularizer),使得模型可以自动挑选简单的样本先训练。 这个正则项就是下面的f，L函数是传统的损失函数,vi是权值,其可能的取值为{0,1}, 也就是是否选择该样本做训练，vi通过f来控制，也就是增则项f决定是否选择此样本。 ...
How transferable are features in deep neural networks?怎么引用
最新发布
06-12
如果您要在学术论文或其他类似的文献中引用 "How transferable are features in deep neural networks?" 这篇论文，可以按照以下格式进行引用： Yosinski, J., Clune, J., Bengio, Y., & Lipson, H. (2014). How transferable are features in deep neural networks?. In Advances in neural information processing systems (pp. 3320-3328). 其中，“Yosinski, J., Clune, J., Bengio, Y., & Lipson, H.” 是作者信息，“How transferable are features in deep neural networks?” 是论文题目，“Advances in neural information processing systems” 是论文所属会议/期刊名称，“pp. 3320-3328” 是论文所在页码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值