迁移学习的核心问题在于分布对齐,将目标领域的数据分布与源领域的数据分布直接的差异减小,从而可以使得模型可以进行无缝迁移。
迁移学习方法分为以下四个大类:
-
基于样本的迁移学习方法 (Instance based Transfer Learning)
-
基于特征的迁移学习方法 (Feature based Transfer Learning)
-
基于模型的迁移学习方法 (Model based Transfer Learning)
-
基于关系的迁移学习方法 (Relation based Transfer Learning)
基于实例的迁移,就是直接对不同的样本赋予不同权重,比如说相似的样本,我就给它高权重,这样就完成了迁移。
基于特征的迁移,是对特征进行变换。假设源域和目标域的特征原来不在一个空间,或者说它们在原来那个空间上不相似,那我们就想办法把它们变换到一个空间里面,进行迁移。
基于模型的迁移,就是重新利用模型里的参数。该类方法在神经网络里面用的特别多,因为神经网络的结构可以直接进行迁移。比如大家熟知的 finetune 就是模型参数迁移的很好的体现。
基于关系的迁移用的比较少,这个主要就是说挖掘和利用关系进行类比迁移。比如老师上课、学生听课就可以类比为公司开会的场景,这种类比就是一种关系的迁移。