主要参考:
https://zhuanlan.zhihu.com/p/47991650
https://zhuanlan.zhihu.com/p/53359505
迁移学习(心理学领域):指一种学习对另一种学习的影响,即在一种情境中获得的技能、知识或态度对另一种情境中技能、知识的获得或态度的形成的影响
在实际应用中,如果考虑使用迁移学习技术那么我认为应该按照如下顺序来思考:
- 何时进行迁移?
- 迁移什么知识?
- 如何进行迁移?
what to transfer
how to transfer
when to transfer
2、迁移学习的分类
在杨强教授的论文中对迁移学习分为了细致的分类,由于论文发布时间距离现在已经过去了很长时间,所以很多概念的定义以及使用已经发生了改变,所以下面我给出的分类方法可能会与之前的论文有些出入。下面是我理解的迁移学习分类方法:
2.1 按迁移情景分类
归纳式迁移:不论源域与目标域是否相同,目标域任务都是不同于源域任务的。
直推式迁移:源域与目标域是不相同的,但是源域任务和目标域任务是相同的。
无监督迁移:与归纳式迁移类似,目标域任务与源域任务相关但是不相同。此外,无监督迁移关注的是在目标域上的无监督学习(聚类,降维等)。
2.2 按迁移方法分类
基于实例的迁移:对源域的样本不断更新权重并应用在目标域中,这种方法停留在样本的层面。
基于特征的迁移:寻求一种更合适的特征表示,使得目标域和源域的特征分布差异更小。
基于关系的迁移:通过建立源域和目标域之间相关知识的映射来进行迁移。
基于模型的迁移:挖掘源域和目标域模型可以共享的模型参数或者先验,从而进行迁移。
2.3 按特征空间分类
同构迁移学习:源域特征空间与目标域特征空间相同。
异构迁移学习:源域特征空间与目标域特征空间不相同。
2.4 分类总结
以上的三大类分类方法并不是独立的,它们是相互交叉的或者包含的,不过现在我们没有必要分的太过仔细,在后续我们看到各种迁移学习算法之后自然会有一个深刻的认识。