《迁移学习简明手册》学习笔记——概念、基础知识

概念

机器学习解决的是让机器自主地从数据从获取知识，从而应用于新的问题中。

迁移学习是机器学习的一个重要分支，侧重于将已学过的知识迁移应用于新的问题中。

核心问题是——找到新问题和原问题之间的相似性。

更学术的定义：

迁移学习，是指利用数据、任务、或模型之间的相似性，将在旧领域学习过的模型，应用于

新领域的一种学习过程。

为什么要学迁移学习？

1.大数据与少标注——通过迁移数据标签解决

2.大数据与弱计算——通过模型迁移来解决

3.普适化模型与个性化需求——通过自适应学习来解决

4.特定应用的需求——通过相似领域知识迁移来解决

迁移学习的分类

按学习方法分类：

1.基于实例的迁移学习方法

通过权重重用，对源域和目标域的样例进行迁移。相似的样本你，就给它高权重，这样就完成了迁移。

2.基于特征的迁移学习方法

对特征进行变换，假设源域和目标域的特征原来不在一个空间，或者在原来的空间上不相似，就想办法把它们变换到一个空间里。

3.基于模型的迁移学习方法

构建参数共享的模型

4.基于关系的迁移学习方法

利用关系进行类比迁移，比如老师上课、学生听课可以类比为公司开会。

基础知识

最基础的两个概念：领域和任务

1.领域：

2.任务：

3.迁移学习：

迁移学习的定义需要进行如下考虑：

领域自适应：

总体思路：开发算法来最大限度地利用有标注的领域的知识，来辅助目标领域的知识获取和学习。

核心：找到源领域和目标领域之间的相似性。这种相似性也可以理解为不变量。

度量工作的目标：

一是很好的度量两个领域的相似性，定性知道是否相似，定量知道相似程度。二是以度量为准则，通过学习手段增大两个领域之间的相似性，从而完成迁移学习。

一句话总结： 相似性是核心，度量准则是重要手段。

度量准则：核心是衡量两个数据域的差异。