迁移学习--综述

最近开始入迁移学习的坑。在此必须感谢一下知乎用户@王晋东不在家，他做了超级详细的关于迁移学习的归纳整理，从最新文章到可以上手的代码，应有尽有：

http://transferlearning.xyz/

开始正文！

文章：A Survey on Transfer Learning

这篇文章可以说是十分经典了，对迁移学习的历史、分类、遇到的挑战都做了很详尽的解释。

1. 迁移学习的重要性

传统的机器学习/数据挖掘只有在训练集数据和测试集数据都来自同一个feature space（特征空间）和统一分布的时候才运行的比较好，这意味着每一次换了数据都要重新训练模型，太麻烦了。比如：

（1）从数据类型/内容上看，对于新的数据集，获取新的训练数据很贵也很难。

（2）从时间维度上看，有些数据集很容易过期，即不同时期的数据分布也会不同。比如对于某个用户进行室内wifi定位的时候，把他在一个很大的室内的数据标记好已经很难了，wifi信号强弱还会受到时间影响，所以如果对于每个时间段都要进行一次训练那就太麻烦了。。

2. 概念

记住两对概念就好了：domain（域）和task（任务），source（源）和target（目标），然后给它们进行自由组合。

domain：包括两部分：1.feature space（特征空间）；2.probability（概率）。所以当我们说domain不同的时候，就得分两种情况。可能是feature space不同，也可能是feature space一样但probability不同。

task：包括两部分：1. label space（标记空间）；2.objective predictive function（目标预测函数）。同理，当我们说task不同的时候，就得分两种情况。可能是label space不同，也可能是label space一样但function不同。

source和target就不用说了，前者是用于训练模型的域/任务，后者是要用前者的模型对自己的数据进行预测/分类/聚类等机器学习任务的域/任务。

3. 迁移学习的分类

3.1. 从问题角度来看

（1）迁移什么？

哪一部分知识可以被迁移？

（2）怎么迁移？

那当然就是训练出适合的模型啦。

（3）什么时候需要用到迁移学习？

当source domain和target domain没什么关系或者太不相同的时候，迁移效果可能就不那么好了，甚至可能会比不迁移的时候表现要更差，这个就叫做negative transfer了。

可以看到，迁移学习的能力也是有限的，所以我们需要关注迁移学习的边界在哪里，比如用conditional Kolmogorov complexity去衡量tasks之间的相关性。

作者指出，现在很多工作都关注前两个问题，但实际上第三个问题是很重要的，因为你在那捣腾半天最后发现其实迁移了还不如不迁移，那不是白费心思嘛。所以作者认为这个