迁移学习基础

读A survey on Transfer Learning后的一些想法，仅供参考，若有错误还希望与大家多多交流。

1.什么时候需要进行迁移学习：目前大多数机器学习算法均是假设训练数据以及测试数据的特征分布相同。然而这在现实世界中却时常不可行。例如我们我们要对一个任务进行分类，但是此任务中数据不充足（在迁移学习中也被称为目标域），然而却又大量的相关的训练数据（在迁移学习中也被称为源域），但是此训练数据与所需进行的分类任务中的测试数据特征分布不同（例如语音情感识别中，一种语言的语音数据充足，然而所需进行分类任务的情感数据却极度缺乏），在这种情况下如果可以采用合适的迁移学习方法则可以大大提高样本不充足任务的分类识别结果。也即是大家通常所说的将知识迁移到新环境中的能力，这通常被称为迁移学习。

具体的一个示例：例如在评价用于对某一品牌的情感分类任务中（假如用户对任一品牌的评价有positive和negative两类），在分类任务之前首先要通过收集大量的用户评价，对其进行标注，然后进行模型的训练。然而现实生活中品牌众多，不同的人也会有不同的语言表达自己的情绪，我们无法收集到非常全面的用户评价的数据，因此当我们直接通过之前训练好的模型进行情感识别时，效果必然会受到影响。如果想要在测试数据上有好的分类效果，最直接的方式是手机大量与测试数据分布相似的数据，但是这样的开销非常大。因此这个时候通过迁移学习可以节省大量的时间和精力，并且通过合适的方法也可以得到较好的识别结果。

2.迁移学习的历史：最早的迁移学习是在NIPS-95 一个workshop上提出，“Learning to learn”。

多任务学习和迁移学习相似，但是不同是多任务学习是对目标域和源域进行共同学习，而迁移学习主要是对通过对源域的学习解决目标域的识别任务。

下图展示了传统的机器学习方法与迁移学习的区别。

3.迁移什么：在一些学习任务中有一些特征是个体所特有的，这些特征不可以迁移。而有些特征是在所有的个体中具有贡献的，这些可以进行迁移。

4.什么时候迁移：有些时候如果迁移的不合适则会导致负迁移，例如当源域和目标域的任务毫不相关时有可能会导致负迁移。

5.迁移学习的定义：

迁移学习主要包含域和任务的概念。每个域 D 由特征空间$\chi$ 以及边际概率分布P（X）组成，且$X={x1,...,x2}\in \chi$。例如如果我们的任务是文档分类，那么每一个单词则可以表示为二进制特征，X是所有单词的特征空间,xi是第i个单词的二进制特征。
给定一个域 D