迁移学习理论与算法——龙明盛
迁移学习背景
监督学习范式中,一般从一个数据分布P中采集一个数据集,在这个数据集上训练一个机器学习学习器f,这个假设往往封闭静态假设即训练和测试数据集都是iid(独立同分布)的,在这样一个假设下就会有一个很好的统计学习泛化误差界。
迁移学习是机器学习一个分支,解决不同领域间的学习,不同领域往往会服从不同的数据分布。
==迁移学习:独立,不同分布–
增量学习,持续学习:不独立,不同分布
迁移学习就是去学习匹配跨域间的分布,主流工作在于Covariate shift即只有数据特征发生变化。Prior shift:类别比列发生变化,如长尾等。Conditional shift: 条件分布发生变化。
在Covariate shift这样的假设下主要有两大类方法:
1.Kernel Embedding: 利用核方法,找到两个域之间的一些高阶统计量,对这些高阶统计量进行匹配从而实现域之间的匹配。
2.通过生成模型去学习一个映射来找到两个域之间的关系,使得判别器不能分辨出两个域,就认为迁移学习学到了使得分不一样的特征