迁移学习理论与算法_龙明盛

迁移学习理论与算法——龙明盛

迁移学习背景

监督学习范式中，一般从一个数据分布P中采集一个数据集，在这个数据集上训练一个机器学习学习器f，这个假设往往封闭静态假设即训练和测试数据集都是iid（独立同分布）的，在这样一个假设下就会有一个很好的统计学习泛化误差界。

迁移学习是机器学习一个分支，解决不同领域间的学习，不同领域往往会服从不同的数据分布。
==迁移学习：独立，不同分布–
增量学习，持续学习：不独立，不同分布

迁移学习就是去学习匹配跨域间的分布，主流工作在于Covariate shift即只有数据特征发生变化。Prior shift：类别比列发生变化，如长尾等。Conditional shift: 条件分布发生变化。

在Covariate shift这样的假设下主要有两大类方法：
1.Kernel Embedding: 利用核方法，找到两个域之间的一些高阶统计量，对这些高阶统计量进行匹配从而实现域之间的匹配。
2.通过生成模型去学习一个映射来找到两个域之间的关系，使得判别器不能分辨出两个域，就认为迁移学习学到了使得分不一样的特征