![](https://img-blog.csdnimg.cn/20190226213822143.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Transfer Learning
专栏图片是第四范式的图像,TF领域最大的大牛杨强教授即为第四范式的创始人之一~
gdtop818
这个作者很懒,什么都没留下…
展开
-
Domain-Adversarial Training of Neural Networks
本篇是迁移学习专栏介绍的第十八篇论文,发表在JMLR2016上。Abstrac提出了一种新的领域适应表示学习方法,即训练和测试时的数据来自相似但不同的分布。我们的方法直接受到域适应理论的启发,该理论认为,要实现有效的域转移,必须基于不能区分训练(源)域和测试(目标)域的特征进行预测。该方法在神经网络体系结构的上下文中实现了这一思想,神经网络体系结构的训练对象是源域的标记数据和目标域的未...原创 2019-04-19 15:49:43 · 20056 阅读 · 8 评论 -
Simultaneous Deep Transfer Across Domains and Tasks
本篇是迁移学习专栏介绍的第十七篇论文,由Eric Tzeng, Judy Hoffman等完成发表在ICCV2016上,引用量高达400+,也算是迁移学习领域相当高引的一篇好文章。Abstract最近的报告表明,一个训练在大规模数据集上的通用监督深度CNN模型减少了数据集bias,但没有完全消除。在一个新领域中对深度模型进行微调可能需要大量的标记数据,这对于许多应用程序来说根本不可用。我们...原创 2019-04-19 10:01:06 · 3192 阅读 · 0 评论 -
Deep CORAL: Correlation Alignment for Deep Domain Adaptation
本篇是迁移学习专栏介绍的第十六篇论文,由BU完成发表在ECCV2016上。Abstract深度神经网络能够从大量标记的输入数据中学习强大的表示,但是它们不能很好地概括输入分布的变化。提出了一种域自适应算法来补偿由于域移动而导致的性能下降。在本文中,我们解决了目标域未标记的情况,需要无监督的自适应。CORAL[1]是一种非常简单的无监督域自适应方法,它用线性变换对源和目标分布的二阶统计量进行...原创 2019-04-17 16:32:10 · 12890 阅读 · 6 评论 -
Domain Adaptation for Object Recognition: An Unsupervised Approach
本篇是迁移学习专栏介绍的第十五篇论文,由马里兰大学帕克分校完成发表在ICCV2011上,引用量超600+的论文,算是domain adaptation发表较早的论文。Abstract将训练在源域上的分类器用于识别来自新目标域的实例是最近受到关注的一个重要问题。在本文中,我们提出了在对象识别上下文中关于无监督域适应的首批研究之一,其中我们只标记了来自源域的数据(因此没有跨域的对象类别之间的对...原创 2019-04-17 16:04:09 · 1511 阅读 · 1 评论 -
Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Approach
本篇是迁移学习专栏介绍的第十四篇论文,由Yoshua Bengio领导完成发表在ICML2011上,引用量超1000+的论文,算是domain adaptation发表较早的论文。Abstract在线评论online reviews和推荐recommendations的指数增长使得情感分类成为学术和工业研究中一个有趣的话题。评审可以跨越许多不同的领域,因此很难为所有这些领域收集带注释的训练...原创 2019-04-17 15:33:32 · 1721 阅读 · 0 评论 -
DANN:Unsupervised Domain Adaptation by Backpropagation
本篇是迁移学习专栏介绍的第十三篇论文,发表在ICML15上。论文提出了用对抗的思想进行domain adaptation,该方法名叫DANN(或RevGrad)。核心的问题是同时学习分类器、特征提取器、以及领域判别器。通过最小化分类器误差,最大化判别器误差,使得学习到的特征表达具有跨领域不变性。Abstract高性能的深层体系结构是针对大量标记数据进行训练的。在缺少特定任务的标...原创 2019-04-17 14:10:50 · 16125 阅读 · 11 评论 -
Importance Weighted Adversarial Nets for Partial Domain Adaptation
本篇是迁移学习专栏介绍的第十二篇论文,被计算机视觉顶会CVPR 2018接收:《Importance Weighted Adversarial Nets for Partial Domain Adaptation》。文章作者团队来自澳大利亚卧龙岗大(University of Wollongong)Abstract本文提出了一种基于权重加权对抗网络的无监督域自适应方法,特别适用于目标域类数...原创 2019-04-16 23:39:45 · 2370 阅读 · 1 评论 -
Partial Transfer Learning with Selective Adversarial Networks
本篇是迁移学习专栏介绍的第十一篇论文,清华大学助理教授Mingsheng Long (龙明盛)发表在国际机器学习顶级会议CVPR2018。Abstract对抗性学习已经成功地嵌入到深度网络中,以学习可迁移的特征,从而减少源域和目标域之间的分布差异。现有的域对抗网络假设跨域完全共享标签空间。在大数据的存在下,将分类和表示模型从现有的大规模域迁移到未知的小规模域具有很强的动力。引入部分迁移学习...原创 2019-04-16 20:11:29 · 3705 阅读 · 0 评论 -
Open Set Domain Adaptation
本篇是迁移学习专栏介绍的第十篇论文,也算是本专栏专门讲Domain Adaptation的第一篇论文。这篇文章是接受于ICCV 2017,文章的setting是特别新颖的,获得了ICCV Marr Prize 提名。所以很值得一看。Abstract当训练和测试数据属于不同的领域时,对象分类器的精度会显著降低。因此,为了减少数据集之间的域转移,近年来提出了几种算法。然而,所有可用的域适应评估...原创 2019-04-16 14:09:13 · 4392 阅读 · 9 评论 -
Transfer Learning via Learning to Transfer
本篇是迁移学习专栏介绍的第九篇论文。最近有一篇叫做《Learning To Transfer》的文章火了,被ICML 2018接收。后来一篇《Transfer Learning via Learning to Transfer》被PMLR2018接受。Abstract在迁移学习中,要解决的两个主要问题是什么和如何迁移,因为在源域和目标域之间应用不同的迁移学习算法会导致不同的知识迁移,从而提...原创 2019-04-16 13:32:35 · 1378 阅读 · 0 评论 -
Conditional Adversarial Domain Adaptation
本篇为迁移学习系列第九篇论文,清华大学助理教授Mingsheng Long (龙明盛)发表在国际机器学习顶级会议Neural2018上提出的新的Domain Adaptation的条件对抗网络。Abstract对抗性学习已被嵌入到深层网络中,用于学习解纠缠和可转移的领域适应表示。在分类问题中,现有的对抗性域自适应方法可能无法有效地对齐多模态分布的不同域。在本文中,我们提出了一个条件对抗性域...原创 2019-04-16 09:27:56 · 7093 阅读 · 0 评论 -
Geodesic flow kernel for unsupervised domain adaptation
本篇是迁移学习专栏介绍的第八篇论文,2012年发表在CVPR,GFK作为子空间变换方面是最为经典的迁移学习方法,它建立在2011年发表在ICCV上的另一篇开创性质的文章(SGF)。Abstract在视觉识别的实际应用中,许多因素,如姿态、光照或图像质量,都可能导致训练分类器的源域与应用分类器的目标域之间的严重不匹配。因此,分类器在目标域中的性能通常很差。Domain Adaption技术旨...原创 2019-04-12 17:19:28 · 4030 阅读 · 2 评论 -
Learning Transferable Features with Deep Adaptation Networks
本篇是迁移学习专栏介绍的第七篇论文,清华大学助理教授Mingsheng Long (龙明盛)发表在国际机器学习顶级会议JMLR 2015上的深度适配网络(Deep Adaptation Network, DAN)。前作DDC:Deep domain confusion: Maximizing for domain invarianceDAN是在DDC的基础上发展起来的,它很好地解决了DDC的两...原创 2019-04-12 15:11:26 · 10348 阅读 · 5 评论 -
Deep domain confusion: Maximizing for domain invariance
本篇是迁移学习专栏介绍的第六篇论文,来自来自加州大学伯克利分校的Eric Tzeng等人发表在arXiv 2014的DDC(Deep Domain Confusion)。DDC针对预训练的AlexNet(8层)网络,在第7层(也就是feature层,softmax的上一层)加入了MMD距离来减小source和target之间的差异。这个方法简称为DDC。Abstract最近的报告表明,在大...原创 2019-04-12 14:04:26 · 9827 阅读 · 0 评论 -
Domain Adaptive Neural Networks for Object Recognition
本篇是迁移学习专栏介绍的第五篇论文,PRICAI 2014的DaNN(Domain Adaptive Neural Network)。Abstract提出了一种简单的神经网络模型来处理目标识别中的Domain Adaptive问题。我们的模型将Maximum Mean Discrepancy(MMD)作为正则化方法引入监督学习中,以减少潜在空间中源域和目标域的分布不匹配。从实验中,我们证明...原创 2019-04-12 12:12:30 · 4270 阅读 · 0 评论 -
How transferable are features in deep neural networks?
本篇是迁移学习专栏介绍的第四篇论文,最初发表于NIPS 2014,本篇论文的作者是Jason Yosinski博士(当时是康奈尔大学的博士生),Uber AI联合创始人。同时三作是Yoshua Bengio,也是刚刚获得了图灵奖。Abstract许多以自然图像为训练对象的深度神经网络都表现出一个奇怪的共同现象:在第一层,它们学习到类似Gabor过滤器和色块的特征。这些第一层特性似乎不是特定...原创 2019-04-11 23:15:13 · 2110 阅读 · 0 评论 -
Transfer Feature Learning with Joint Distribution Adaptation
本篇是迁移学习专栏介绍的第三篇论文,JDA方法首次发表于2013年的ICCV,它的作者是清华大学的博士生(现为清华大学助理教授)龙明盛。本篇介绍的JDA相当于TCA的增强算法。前作:Domain Adaptation via Transfer Component Analysis。Abstract迁移学习是一种有效的计算机视觉技术,它利用源域中丰富的标记数据为目标域构建精确的分类器。然而,...原创 2019-04-11 19:41:02 · 4522 阅读 · 0 评论 -
Domain Adaptation via Transfer Component Analysis
本篇是迁移学习专栏介绍的第二篇论文,由CUHK的杨强教授于2011年发表在AAAI的提出的应用在Domain Adaption上的TCA。机器学习中有一类非常有效的方法叫做降维(dimensionality reduction),用简单的话来说就是,把原来很高维度的数据(比如数据有1000多列)用很少的一些代表性维度来表示(比如1000多维用100维来表示)而不丢失关键的数据信息。这些降维方法多种...原创 2019-04-11 16:23:42 · 8311 阅读 · 2 评论 -
A Survey on Transfer Learning
本篇是迁移学习专栏介绍的第一篇论文,由CUHK的杨强教授于2010年发表在IEEE的Transactions on knowledge and data engineering上关于迁移学习的综述性论文。Abstract在许多机器学习和数据挖掘算法中,一个主要的假设是训练和未来的数据必须在相同的特征空间中,并且具有相同的分布。然而,在许多实际应用程序中,这种假设可能不成立。例如,我们有时在...原创 2019-04-10 15:02:46 · 2919 阅读 · 0 评论