迁移学习与传统机器学习

迁移学习的定义

给定一个源域$D_s$和源学习任务$T_s$，一个目标域$D_t$和目标学习任务$T_t$，迁移学习致力于通过使用源域$D_s$和源任务$T_s$中的知识，帮助提升目标域$D_t$中的目标预测函数$f_t()$的学习，其中$D_s\ne D_t$，或者$T_s\ne T_t$。

迁移学习类别划分

根据迁移学习的定义，由源域和目标域与任务之间的不同情况，可将迁移学习分为以下三类：

• 归纳式迁移学习(Inductive Transfer Learning)
• 无监督迁移学习(Unsupervised Transfer Learning)
• 直推式迁移学习(Transductive Transfer Learning)

迁移学习与传统机器学习设置之间的关系

• 在归纳式迁移学习设置中，无论源域和目标域是否相同，目标任务都与源任务不同。算法利用来自源域的归纳偏差帮助改进目标任务。根据源域中数据的不同情况，归纳式迁移学习进一步分为两种情况：
  1、源域中有很多带标签的数据。在这种情况下，归纳式迁移学习设置类似于多任务学习设置。但是，归纳式迁移学习设置旨在通过迁移源任务中的知识来实现目标任务中的高性能，而多任务学习则尝试同时学习目标任务和源任务；
  2、源域中没有标签数据。在这种情况下，归纳迁移学习设置类似于自学习。在自学习设置中，源域和目标域之间的标签空间可能不同，这意味着不能直接使用源域的信息。
• 在无监督迁移学习设置中，与归纳迁移学习设置类似，目标任务不同于源任务，但与源任务有关。然而，无监督的迁移学习侧重于解决目标域中的无监督的学习任务，例如聚类、降维和密度估计。在这种情况下，源域和目标域中都没有可用的标签数据。
• 在直推式迁移学习设置中，源任务和目标任务是相同的，而源域和目标域是不同的。在这种情况下，目标域中没有可用的标签数据，而源域中有许多可用的标签数据。另外，根据源域和目标域之间的不同情况，可以进一步将直推式学习设置分为两种情况：
  1、源域和目标域之间的特征空间不同；
  2、源域和目标域之间的特征空间相同，但输入数据的边际概率分布不同。