迁移学习论文阅读感想（初步）

之前读了一篇名为《A Survey on Transfer Learning》的文章，写了如下 

学习Transfer Learning心得体会

1.迁移学习的基本概念

迁移学习即一种学习对另一种学习的影响，它广泛地存在于知识、技能、态度和行为规范的学习中。任何一种学习都要受到学习者已有知识经验、技能、态度等的影响，只要有学习，就有迁移。

从一开始接触这个新的名词的时候，我很好奇学习的知识竟然还能迁移，这不意味着会节省大量的做功么，假如这种能实现的话，那对于人工智能的发展起到的作用可以说是大幅度的推进。

因此，一开始我首先从迁移学习这个名词开始进行了解，由百度百科中知道，迁移学习也可以成为学习迁移，简单来说，就是两种不同的学习材料，有相同之处也有不同之处，而利用相同的因素提高学习的效率。在历史上也有过测试：

关于共同因素在学习迁移中作用的问题，桑代克和武德沃斯(R.S.Woodworth）早年曾做过专门实验研究。让被试观察各种大小不同的长方形面积（10—100平方厘米），直至能准确估计每个长方形面积为止；然后让被试估计稍大的长方形面积或面积相同而形式不同的各种长方形，结果被试的进步仅是原来的三分之一左右。通过实验，桑代克得出结论，通过练习，被试的学习成绩可以得到明显提高，练习能够在同类活动中产生迁移，从而提出了学习迁移的共同要素说。

而其中最重要的点是相同因素这个词，桑代克认为，相同的因素是指相同的联结，其含义很广，包括目的、方法、普遍原则和经验上的基本事实四个方面。

 

2.迁移学习在人工智能方向上的前景

对于迁移学习的概念我进行了相关的资料查询后理解了基本的概念，如果把这种学习方式应用在机器上的话会是什么效果。要看出效果那就必须需要对比，因此我对传统的机器学习的方式进行了大致的资料收集并了解。

2.1传统的机器学习特点以及缺陷

学习的任务就是在给定的充分训练数据的基础上来进行一个分类模型，也就是对数据进行不同的标记，让机器能识别出。然后再利用这个学习的模型对测试文档进行分类和预测，其方法在于简单实现，但是缺点显而易见：1.新领域中的大量训练数据难以得到，在日新月异的互联网发展中就是一个例子，不断地有新的领域出现，要对每个领域标定大量的训练数据，这耗费的财力和人力简直不敢想象。而没有大量标定的数据，那么传统的学习也无法展开，就算展开了，在少量的标定数据下，预测正确率也可以说是极其低的。2.传统的机器学习假设训练数据与测试数据服从相同的数据分布。然而许多情况下是不相同的，这意味着又要去标记新的数据而丢弃大量旧数据。

 

2.2迁移学习的优势

迁移学习可以从现有的数据中迁移知识，用来帮助将来的学习。迁移学习（Transfer Learning）的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。因此，迁移学习不会像传统机器学习那样作同分布假设（即资源域和目标域不相等）。

因此这种方法可以将大量以前的训练材料利用起来，而不造成浪费。

同时，吴达恩（百度首席科学家）也认为迁移学习是未来五年的重要研究方向。

 

2.3对比用例【1】

分离大象和犀牛。对于监督学习来说，我们手头有大量大象的样本和犀牛的样本，接下来训练分类器，进行分类。对于迁移学习，则是指我们手头上有大量羊的样本和马的样本（已标记），少量的大象和犀牛的样本，接下来就要从羊和马的样本中选出有效的样本分别加入到大象和犀牛的标记样本中，然后再用监督学习的方法训练分类器。而非监督学习，则是手上仅有少量大象和犀牛的已标记样本，另外有一堆大象和犀牛的没有标记的数据（注意它们中要么是大象要么是犀牛，没有其他物种）。半监督学习就是利用这些样本训练分类器，实现分类。而自我学习，同样是手上仅有少量大象和犀牛的已标记样本，另外有一大堆自然图像。所谓自然图像，就是有大象和犀牛的图片，还有各种其他物种的图片。自我学习比半监督学习更适合实际场景-----哪有一堆只有大象和犀牛的图片给你呢？而自然图像的来源更加广泛，可以从互联网上随便下载。

 

3.迁移学习方法目前的分类

3.1同构空间下的实例的迁移学习

这是一种前提在源数据和辅助数据非常相近的情况下的学习方法，比如已经会写钢笔字，现在要学写毛笔字。

这种方法中，辅助训练数据中会存在一部分比较适合用来训练一个有效的分类模型。于是标记出那些适合测试数据的实例，然后迁移这些实例到源训练数据的学习中，进而利用了之前训练的数据而不造成浪费。

 

3.2同构空间下基于特征的迁移学习

基本思想是使用互聚类算法同时对源数据与辅助数据进行聚类，得到一个共同的特征表示，这个新的特征表示只基于源数据的特征表示，以实现迁移学习。（比如写毛笔字和钢笔字，共同特征在于笔的使用）。

3.3翻译学习

解决源数据与测试数据分别属于两个不同的特征空间下的情况。方法基于使用那些用有两个视角的数据来构建沟通两个特征空间的桥梁。虽然这些多视角数据可能不一定能够用来做分类用的训练数据，但是，它们可以用来构建翻译器。通过这个翻译器，我们把近邻算法和特征翻译结合在一起，将辅助数据翻译到源数据特征空间里去，用一个统一的语言模型进行学习与分类。

 

 

4.迁移学习的校正

对于迁移学习当然是存在积极方面和消极方面的，如何处理消极方面，也即错误标记的影响是一个比较难的问题。

 

 

5.引用

【1】http://blog.csdn.net/pi9nc/article/details/27535977