迁移学习小记（一）仅用于学习记录

  万事开头难，刚接触迁移学习，网上的资料水平又良莠不齐，在一时间没能找到合适的学习资料，幸得老师为我们寻找了最新的也非常齐全的相关资料，让我感到柳暗花明又一村。本应该动手实践，但由于基本概念还未掌握，我选择了先“纸上谈兵”。以下记录我本段时间的学习所得。

  一.什么是迁移学习 

  迁移学习，是指利用数据，任务，或者模型之间的相似性，将在旧的领域学习过的模型，应用于新领域的一种学习过程。

  形式化定义如下：

  -条件：给定一个源域Ds和源域上的学习任务Ts，目标域Dt和目标域上的学习任务Tt

  -目标：利用Ds和Ts学习在目标域上的预测函数f（.)

  -限制条件：Ds！=Dt或Ts！=Tt

  （Domain-域：由数据特征和特征分布组成，是学习的主体；源域是已有知识的域，目标域是要进行学习的域。 Task-任务：由目标函数和学习结果组成，是学习的结果）

二.迁移学习与其他概念的区别与联系

1.迁移学习VS传统机器学习

2.迁移学习VS多任务学习

多任务学习是指多个相关任务一起协同学习；迁移学习则强调知识由一个领域迁移到另一个领域的过程。迁移是思想，多任务是其中一个具体形式。

3.迁移学习VS终身学习

终身学习可以认为是序列化的多任务学习，在已经学习好若干个任务之后，而面对新的任务可以继续学习而不是遗忘之前学习的任务。迁移学习则侧重于模型的迁移和共同学习。

4.迁移学习VS领域自适应

领域自适应问题是迁移学习的研究内容之一，它侧重于解决特征空间一致，类别空间一致，仅特征分布不一致的问题。而迁移学习也可以解决上述内容不一致的情况。

5.迁移学习VS增量学习

增量学习侧重解决数据不断到来，模型不断更新的问题。

6.迁移学习VS自我学习

自我学习是指模型不断地从自身处进行更新，而迁移学习强调知识在不同的领域间进行迁移。

7.迁移学习VS协方差漂移

协方差漂移是指数据的边缘概率分布发生变化。领域自适应研究问题解决的就是协方差漂移现象。

三.负迁移

在迁移学习中存在负迁移现象，即在源域上学习的知识，对于目标域上的学习产生负面作用。产生负迁移的主要原因有：（1）源域与目标域根本无相似性（2）源域与目标域是相似的，但是迁移学习的方法不够好，没找到可迁移的成分。

  传递式学习可以较好的克服这一问题，传统的迁移学习只有两个领域足够相似才可以完成，而当两个领域不相似时，传递迁移学习可以将处于这两个领域之间的若干领域，将知识传递式的完成迁移。其简明示意图如下：

四.常用的迁移学习分类方法

按照迁移情景分：归纳式迁移，直推式迁移，无监督式迁移

按照迁移方法分：基于实列的迁移，基于特征的迁移，基于关系的迁移，基于模型的迁移

按照特征空间分：同构迁移学习，异构迁移学习

 

本次只了解记录了相关概念，后期会在动手实践中再次补充记录相关概念。