迁移学习（1）综述入门

1.迁移学习定义：

迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法。

2.迁移学习意义：

放宽了传统机器学习中的两个基本假设:

(1) 用于学习的训练样本与新的测试样本满足独立同分布的条件;

(2) 必须有足够可利用的训练样本才能学习得到一个好的分类模型

迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题，如何利用少量的有标签训练样本或者源领域数据的问题

3.迁移学习的分类：

3.1按源领域和目标领域样本是否标注以及任务是否相同划分

       根据源领域和目标领域中是否有标签样本可将迁移学习划分为 3 类:目标领域中有少标注样本的归纳迁移学习(inductive transfer learning),只有源领域中有标签样本的直推式迁移学习(transductive transfer learning),以及源领域和目标领域都没有标签样本的无监督迁移学习.

3.2按采用的技术划分

3.2.1半监督学习

目前能够利用少量有标签数据和大量没有标签样本数据的技术有 3类:半监督学习(semi-supervised learning)、直推式学习(transductive learning)和主动学习(active learning).

半监督学习指的 是学习算法在学习过程中无需人工干预,基于自身对无标签数据加以利用.而直推式学习与半监督学习一样也 无需人工干预,所不同的是,直推式学习假设无标签的数据就是最终要用来测试的数据,学习的目的就是在这些 数据上取得最佳泛化能力.相对应地,半监督学习在学习时并不知道最终的测试用例是什么.因此,半监督学习 考虑的是一个“开放的世界”,即在学习中不知道测试样本是什么,而直推式学习考虑的则是一个“封闭世界”,要测试的样本数据已参与到学习过程中.

 

主动学习与半监督学习、直推式学习最大的区别在于它的学习过程需要人工干预,就是在学习过 程中通过反馈尽可能地找到那些包含信息量大的样本来辅助少量有标签样本的学习.

3.2.2基于特征选择方法

基于特征选择的迁移学习方法是识别出源领域与目标领域中共有的特征表示,然后利用这些特征进行知识迁移

3.2.3基于特征映射方法

基于特征映射的迁移学习方法是把各个领域的数据从原始高维特征空间映射到低维特征空间,在该低维空间下,源领域数据与目标领域数据拥有相同的分布.

3.2.4基于权重的方法

有标签的源领域数据的分布与无标签的目标领域数据的分布是不一样的,因此那些有标签的样本数据并不一定是全部有用的.如何侧重选择那些对目标领域分类有利的训练样本?这就是基于实例的迁 移学习所要解决的问题.基于实例的迁移学习通过度量有标签的训练样本与无标签的测试样本之间的相似度 来重新分配源领域中样本的采样权重.

 

有文献会将迁移学习方法概括为基于特征迁移和基于实例迁移的两种。

 

参考文献： 庄福振, et al. 迁移学习研究进展[J]. 软件学报, 2015, 26(1):26-39.