李宏毅机器学习34——Transfer learning

摘要：

这节课学习了迁移学习，简单来说，就是用一些与目标数据没有直接联系的数据，进行神经网络的训练，这种方法弥补了一般情况下训练神经网络，目标数据缺乏的缺陷。

这节课中，与目标数据没有直接联系的数据叫做source data

根据source data和target data有无label，将迁移学习分为四个大类，这节课主要学习了其中两个大类。对于target data和source data都是labeled的情况，直觉的想法就是用source data直接训练，用target data进行微调，但是这样容易导致过拟合，这节课学习了几种解决办法。对于source data和target data相似的情况，还可以采取多任务同时进行方法。

对于target data是unlabeled，source data是labeled的情况，以手写数字辨识和图片分类为例，讲了两种针对不同情况的方法。其中domain-adversarial training包含了GAN中的思想。

目录

一、什么是Transfer learning

二、target data和source data都是labeled

1.model fine-tuning

2.解决方法:

3.multitask learning

二、target data是unlabeled，source data是labeled

1.domain-adversarial training

2.zero-shot learning

总结：

---

一、什么是Transfer learning

在实际应用中，由于目标数据的缺乏，我们可以收集一些不直接相关的数据，然后将这两类数据联系起来，用来训练模型，这就是迁移学习。

下面就是将研究生和漫画家两种看似不同的人联系起来。

Source data表示与任务不直接相关的数据，

Target data表示与任务直接相关的数据，

这两类数据按照有无label，分成四个类别。

 

二、target data和source data都是labeled

一般来说target data很少，source data有很多。

1.model fine-tuning

举例:辨识某个人的声音

target data：辨识某个人的声音

source data：许多其他人的声音数据

想法就是用source data直接训练一个model，然后用target data进行微调model。

问题是目标数据量太少，很容易过拟合。

2.解决方法:

1. conservation training

想法就是做微调时加一些限制，例如source data的output和targe data