机器学习-迁移学习-场景变换

迁移学习

一、 概念：将一个域学习到的特征用于另一个域的特征学习，从而使得在目标域中取得较为不错的结果。通常，训练的数据域有较多的数据，而需要用来测试的目标域没有太多的数据，那样的话通过迁移学习可以有效地提升学习的效率。
我们则使用大型机构的预训练好的模型来训练自己的数据，一般进行微调参数便可以得到很好的结果；也可以自己使用一个自己训练的源模型，然后再原任务上进行训练，然后在目标数据上进行选择性地微调从而得出更好的结果。
迁移学习综述中提到按照有无标签分为三个种类：

1. 目标域有标签
   {
   源域无标签：自学习（self-taught）
   源域有标签：多任务学习
   }
2. 源域有标签，目标域没有或者很少
   {
   目标域不同但是任务相同：Domain Adaptation
   目标域和任务都是相同：Covariance Shift
   }
3. 都不含标签
   无监督迁移学习
   二、DA是原任务和目标任务相同，但是数据的分布不同，
   种类：
4. 基于特征的自适应：将两个域映射到一个特征空间
5. 基于实例的自适应：对源域样本加权重
6. 基于模型参数的自适应： 找到新的参数来适应迁移的模型