迁移学习基本知识

本文用于了解迁移学习的基本知识！！！

1. 什么是迁移学习？

迁移学习也称为归纳迁移、领域适配，其目标是将某个领域或任务上学习到的知识或模式应用到不同的但相关的领域或问题中。例如学习走路的技能可以用来学习跑步、学习识别轿车的经验可以用来识别卡车等。

2. 迁移学习的主要思想？

从相关的辅助领域中迁移标注数据或知识结构、完成或改进目标领域或任务的学习效果。

3. 迁移学习研究的意义？

在很多工程实践中，为每个应用领域收集标注数据代价十分昂贵、甚至是不可能的，因此从辅助领域或任务中迁移现有的知识结构从而完成或改进目标领域任务是十分必要的、是源于实践需求的重要研究问题。

4. 迁移学习与传统机器学习相比的特点？

迁移学习放宽了传统机器学习训练数据和测试数据服从独立同分布这一假设，从而使得参与学习的领域或任务可以服从不同的边缘概率分布或条件概率分布。

5. 迁移学习与半监督学习的比较？

虽然传统半监督学习可以解决数据稀疏性，但其要求目标领域存在相当程度的标注数据；当标注数据十分稀缺且获取代价太大时，仍然需要从辅助领域迁移知识来提高目标领域的学习效果。

6. 迁移学习问题的描述？

迁移学习设计领域和任务两个重要概念。

领域D定义为由d维特征空间X和边缘概率分布P(x)组成；

任务T定义为有类别空间Y和预测模型f(x)(条件概率分布)组成

7. 查看领域间概率分布的差异性？

使用PCA方法将两个领域的数据降为二维后进行可视化。

8. 输入空间与特征空间的关系？

所有特征向量存在的空间称为特征空间。特征空间的每一维对应于一个特征，有时假设输入空间与特征空间为相同的空间；有时假设输入空间与特征空间为不同的空间，将实例从输入空间映射到特征空间。

9. 迁移学习的分类？

按照特征空间、类别空间、边缘概率分布、条件概率分布进行分类

分为两大类：异构迁移学习(源领域和目标领域特征空间不同或类别空间不同)、同构迁移学习(源领域和目标领域特征空间相同且类别空间相同)

10. 无监督迁移学习的特征表示法？

无监督迁移学习即目标领域没有标注数据的迁移学习任务。

通过学习新的特征表示Φ(x)，使得领域间共享特性增强而独享特性减弱。

其是基于假设：特征空间中的部分特征是领域独享的，而另一部分特征是领域共享的且可泛化的；或者存在一个领域间共享的且可泛化的隐含特征空间，该空间可以由特征学习算法在减小领域间概率分布差异的准则下抽取得到。

特征表示法可分为两个子类：隐含表征学习法和概率分布适配法。

a.隐含特征表示法：通过分析辅助领域和目标领域的大量无标注样例来构建抽象特征表示，从而隐式地缩小领域间的分布差异；

b.概率分布适配法：通过惩罚或移除在领域间统计可变的特征、或通过学习子空间嵌入表示来最小化特定距离函数，从而显式地提升辅助领域和目标领域的样本分布相似度。

11. 迁移学习问题的主要问题挑战？

包括经典机器学习的过拟合、欠拟合问题，以及迁移学习特有的欠适配、负迁移问题；

a.负迁移：辅助领域任务对目标领域任务有负面效果，目前从算法设计角度对负迁移问题研究的主要思想是减少在领域间迁移的知识结构，例如仅在领域间共享模型的先验概率、而不共享模型参数或似然函数。

b.欠适配：跨领域的概率分布适配问题未能充分修正。

c.欠拟合：学习模型未能充分刻划概率分布的重要结构。

d.过拟合：学习模型过度拟合样本分布的无关信息。

总而言之：过拟合和欠拟合针对的是某个领域的学习模型性能好坏，欠适配和负迁移针对的是辅助领域知识结构或模式对目标领域学习模型性能的影响。

12. 现有的概率分布相似性度量函数有哪些？

最大均值差异、布雷格曼散度等。

13. 迁移学习与机器学习的关系？

迁移学习强调的是在不同但是相似的领域、任务和分布之间进行知识的迁移。从本质上讲，迁移学习就是将已有领域的信息和知识运用于不同但相关领域中去的一种新的机器学习方法。迁移学习不要求相似领域服从相同的概率分布，其目标是将源领域里面已有的知识和信息，通过一定的技术手段将这部分知识迁移到新领域中，进而解决目标领域标签样本数据较少甚至没有标签的学习问题。

14. 根据迁移场景将迁移学习分类？

归纳迁移学习：源和目标学习任务不同。

直推式迁移学习：源和目标学习任务相同。

无监督迁移学习：目标领域和源领域数据都没有标签。

15. 根据迁移方法将迁移学习分类？

基于模型的迁移学习：通过共享源领域和目标领参数实现迁移。

基于实例的迁移学习：假设源领域的部分数据可通过更新权重，在目标领域得到再利用。

基于特征表示的迁移学习：试图找到原始数据的新特征表示，减小领域间分布差异。

基于相关性知识的迁移学习：把数据间关系从源领域迁移到目标领域。

16. 域适应(域适配)？

属于迁移学习中的同构迁移，即源域和目标域的特征空间和类别空间相同，但数据分布不同。

域适应根据目标领域是否有标签，分为无监督(目标域无标签)和半监督(目标域有少量标签)。

17. 深度迁移学习方法(BA, DDC, DAN)比传统迁移学习方法(TCK, GFK)精度高：

18. 深度学习的可迁移性？

前面几层学习到的是通用的特征（general feature）；随着网络层次的加深，后面的网络更偏重于学习任务特定的特征（specifc feature），所以可将通用特征迁移到其它领域。

19. 最简单的深度网络迁移：Finetune(Finetuning,微调)

finetune 就是利用别人已经训练好的网络，固定前面若干层的参数，只针对我们的任务，微调后面若干层。因为在实际的应用中，我们通常不会针对一个新任务，就去从头开始训练一个神经网络。这样的操作显然是非常耗时的。尤其是，我们的训练数据不可能像 ImageNet 那么大，可以训练出泛化能力足够强的深度神经网络。即使有如此之多的训练数据，我们从头开始训练，其代价也是不可承受的。

20. 基于CNN的迁移学习？

在当前计算机视觉领域的任务中，所提出的的方法已普遍使用深度迁移的策略进行预训练。使用大规模图像数据集对深度CNN模型进行训练，比如ImageNet，由于样本和参数的数量都十分庞大，即使使用GPU加速也会花费较长的训练时间。但深度CNN体系结构的另一个优势便是经过预训练的网络模型可以实现网络结构与参数信息的分离，所以只要网络结构一致，便可以利用已经训练好的权重参数构建并初始化网络，极大的节省了网络的训练时间。

步骤：首先在大规模数据集上训练深度CNN模型学习数据集的通用特征，之后通过在新任务的小样本数据集上的网络微调，即保留训练好模型中所有卷积层的参数，只是替换最后一层全连接层。从而可以使网络模型进一步学习到新任务数据集中新的深度卷积特征，最后增加 softmax层可实现分类。

20.Finetune的优点：

a.不需要针对新任务从头开始训练网络，节省了时间成本

b.预训练好的模型通常都是在大数据集上进行的，无形中扩充了我们的训练数据，使得模型更鲁棒、泛化能力更好，提升了训练精度

Finetune的缺点：

a.无法处理训练数据和测试数据分布不同的情况,因为Finetune的基本假设是训练数据和测试数据服从相同的数据分布

21.深度网络自适应迁移：

增加自适应层，然后在这些层加入自适应度量，最后对网络进行Finetune。

参考资料：

 

1. 龙明盛 博士论文《迁移学习问题与方法研究》

2. 张景祥 博士论文《迁移学习技术及其应用研究》

3. 王晋东 《迁移学习简明手册》