迁移学习（Transfer Learning）

本博客是针对李宏毅教授在youtube上上传的Machine Learning课程视频的学习笔记。课程链接

概念

• 迁移学习是什么？

  假设手上有一些和现在要进行的学习任务不相关的数据，那么能不能用这些数据帮助完成学习任务。

  如下图，比如我们想做一个猫狗分类器，

  但是我们没有猫狗的图片数据，而只有以下数据：

  • 大象和老虎图片（都是动物图片，所以属于相似的域（domain），但是与猫狗分类相比是完全不同的学习任务）
  • 招财猫和高飞狗图片（都是卡通人物图片，所以属于不同的域，但是同属于猫狗分类任务）

  

• 为什么要研究迁移学习？

  

  • 比如如果要做台语的语音识别，但是网络上的训练数据很少，于是想到能不能利用youtube上海量的其它语音数据来做台语的语音识别训练。
  • 做医学图像识别，但是医学图像的存量往往很少，那么海量的其它图片能不能帮忙呢
  • 做文本分析，可能特定领域的文本数据少，那么能不能利用其它领域的文本来帮忙呢

• 可行性

  迁移学习的可行性一定基础上建立在人类的行为上，因为人类是不断在做迁移学习的。

  如下图所示，比如如果想要做好一名研究生，你可以参考称为一名好的漫画家应该如何做。

概览

根据源数据（我们手上已有数据）和目标数据（目标学习任务所需数据）是否有label，我们将迁移学习分成四种不同的类别。

Model Fine-tuning (labelled source, labelled target)

• 任务描述

  目标数据量很少，源数据量很多。（One-shot learning：在目标域中只有几个或非常少的样例）

• 例子：（有监督）讲话者调整

  目标数据：语音数据和某一特定讲话者的稿子。

  源数据：语音数据和很多讲话者的稿子。

• 想法：用源数据训练一个模型，然后用目标数据微调模型

  • 难点：只有很有限的目标数据，所以要注意过拟合问题。

  • 一个解决过拟合难点的训练方法： Conservative Training（保留训练）

  在微调新模型时加