认识迁移学习Transfer Learning

what
提取在其他任务中训练完成的模型的信息，用来解决另一个学习任务的方法。
目标：将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。

why
越来越多实际应用场景的需求需要机器学习解决，但是大量的带有标注信息的数据难以获得，或者数据集存在问题（分布不均、过时），因此需要迁移学习。

how
主要思想：从相关领域中迁移标注数据或者知识结构、完成或改进目标领域或任务的学习效果。

• 域（domain） 可以理解为某个时刻的某个特定领域，比如书本评论和电视剧评论可以看作是两个不同的domain

• 任务（task） 就是要做的事情，比如情感分析和实体识别就是两个不同的task
  

• 带不带标签？分别有什么方法
  

domain adaptation
在研究source domain和target domain时，基于某一特征，会发现两个domain的数据分布差别很大，两个域的数据本来就是有shift的。而这个shift导致我们evaluate这个模型的时候准确率会大大降低。
domain adaptation旨在利用各种的feature transformation手段，学习一个域间不变的特征表达，基于这一特征，我们就可以更好的同时对两个域的数据进行分类了。
常用：为了保证域差异最小，loss项都会加一个MMD约束。

负迁移
当领域间的概率分布差异很大时，这会导致严重的负迁移问题。负迁移是旧知识对新知识学习的阻碍作用，比如学习了三轮车之后对骑自行车的影响，和学习汉语拼音对学英文字母的影响。

fine fune微调
在target上有少量的label data，如何有效利用这部分label data，而且还不过拟合呢，我们以NN的角度为例，在原问题中学习到的NN，我们在target上采用保守学习的方式，比如让target和source上的输出尽可能相近，神经网络中间的参数尽可能相近，或者tune的时候，只tune某几层，其他层的参数不发生变化。

• 第一种 输出尽可能相近
  

• 第二种 固定某些层的参数
  

迁移学习的分类